huangddh的博客

原创 继续预训练BERT实战（pytorch版）

这里写自定义目录标题如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入根据相关领域，进一步预训练BERT可大大提高模型的性能。基于此，进行了BERT继续预训练实战。1、 环境准备Python=3.6Torch=1.7.1Cuda=11Transformers=3.0.2（不能太新，太新会爆很多问