关于bert预训练过程中的一些感悟

Bert预训练

---

最近在处理利用Bert训练领域内数据的事情，感悟颇多，接下来我就讲相关感悟记录如下:

感悟01

如果你负责贵公司的相关预训练任务，请先花几天时间把Bert论文和源码好好学习学习，真的，这点我感悟颇深，个人在2019年就拜读过Bert论文，在处理相关预训练任务之前自认为对Bert理解比较到位，但这次自己真的负责相关事项的时候，才发现那些理解还是太肤浅了。

感悟02

一定要养成做工作笔记的好习惯，记录好日常工作中的重点问题；
我这边从Bert预训练调研、Bert论文再次拜读、Bert源码分析、Bert预训练各环节参数理解、Bert GPU单卡预训练、Bert GPU多卡分布式预训练代码改造及环境配置、再到在预训练过程中根据己方数据随机调整优化相关配置参数的能力培养等太多需要学习，真是活到老学到老啊，这些都是宝贵经验。

感悟03

遇到问题一定要多与比你优秀的人沟通、请教。在这个过程中关于关于构建cuda-10.0 的docker镜像方面我和运维老大哥请教多次；关于预训练硬件设备方面和部门leader多次沟通；

感悟04

敢于深入钻研，虽然我们公司算法相关工程师10余人，但是他们都未曾参与过相关的Bert预训练任务，很多东西都需要个人提前深度的调研，同时遇到问题不断地钻研，在过程中遇到的问题属实是非常多，各种冲突没有100也得有50+，真的需要静下心来去钻研：包括查阅官方文档、硬件设备商支持文档、github等，确实是非常考验人；

感悟05

正向、积极、拥有一颗进取的心，加油年轻人；