herosunly的博客

0. 前言1. 第一阶段：编程语言学习2. 第二阶段：机器学习基本理论3. 第三阶段：深度学习理论与实战4. 第四阶段：细分领域深入学习5. 第五阶段：集大成者  最近有很多小伙伴想学习人工智能，其中不少同学渴望从事相关职业。虽然网上的资料很多，但是很多内容不够接地气，导致他们看不懂，所以很迷茫，不知何去何从。作为获得AI比赛Top名次的老司机，就给大家讲讲如何系统学习人工智能，最终达到一名合格的算法工程师。希望大家能够跟随我一步步迈进人工智能的殿堂，一起冲鸭~~~...

基于上述原因，特意对预训练模型中的经典模型代码进行详尽的介绍，具体来说是首先对整个代码框架进行高屋建瓴的解释，然后再逐个代码文件进行全局到局部的讲解，如果在讲解过程中遇到难点，通过举例+图示的方法来帮助理解，希望能够帮助初学者掌握学习经典模型的高效方法论。咱们首个讲解的代码是BERT，代码链接为https://github.com/google-research/bert，论文链接为https://arxiv.org/abs/1810.04805，希望大家能够先预习再学习，效果更佳。

本文作为BERT模型讲解的第一篇文章，主要介绍了BERT模型结构可视化显示与模块剖析，希望对新手有所帮助。文章目录1. 可视化显示1.1 安装依赖库1.2 可视化2. 模块维度转换剖析2.1 输入文本维度2.2 Embedding2.3 LayerNorm2.4 Self-attention2.4.1 Attention Mask2.4.1.1 关键概念之序列填充(padding)2.4.2 Self-attention2.5 Position-wise FFN2.6 最终输出

八大函数---> 训练例对象写入文件 & 创建整型特征 & 创建浮点型特征 & 创建训练例 & 从文档中创建训练例 & 创建对掩码语言模型的预测 & 截断序列对 & 主函数

在本篇博客中，详细介绍了Tensorflow中较为推荐的TFRecord格式，从而更加高效的保存和读取数据，并使用protocol buffer message和tf.train.Example执行此操作。需要说明的是本篇博客的执行环境为TensorFlow 2.x。文章目录1. Protocol Buffers2. tf.train.Example3. TFRecord3.1 TFRecord简介3.2 写入TFRecords3.3 读取TFRecords文件4. 图像数据实战