初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调，已经过去半个多月近三周了，查了很多资料和博客，记录一下自己的历程，也帮助其他入门者更好的了解bert模型。

0. 本文概览

已经来看这篇博客了，bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。
环境：pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类
本文所用的环境快速配置方法：
参考过的还不错的博文：（我是在自己理解上对他们的一个整合）

1. 预训练

具体过程参考这一篇哦，跟着步骤走就可以啦，本文不赘述啦。用自己的数据预训练bert
-------我还需要补充一些需要注意的地方，我卡了两天的bug,希望可以帮到你。

1. 自己的数据文件，编码格式要改成utf-8哦，在txt另存的时候更改并替换一下就好啦。

2. 地址一定要绝对路径哦，如果你对自己相对路径很自信也可以。记得在路径的引号前加’r’;就像这样：

3. 如果路径不对，会一直报一个错：如果不幸你也遇到了，请参考报错原因第一条，这个我中了，tfrecord文件有问题。这个文件需要create-pretraining-data文件生成，再由后边的run-pretraining文件调用，我报错是因为前者没有生成，或生成的有问题。可以顺着路径用txt打开检查一下，如果生成不了就多试几次。
   （这个错，很多人都报过，自信点，自己的内存条和磁盘没有坏，后边指定路径的文件也没有损坏。【它不是一个头痛医头，脚痛医脚的问题】，出现它的主要原因是，教程里面让你改的路径，你没有改对，它找不到文件，就给你报这个错误。）

到这里，我的预训练就已经跑起来了，还没有跑完。

2. fine-tuning微调

再次偷个懒，教程交给别人来做，我就讲一下我遇到的bug。
过程连接请点我
今天累了，欲知后事如何，且听下回分解。