Huggingface-transformers项目源码剖析及Bert命名实体识别实战
文章目录一、Huggingface-transformers介绍二、文件组成三、config四、Tokenizer五、基本模型BertModel六、序列标注任务实战(命名实体识别)1.加载各类包(略)2.载入训练参数3.模型初始化4.BertForTokenClassification5.处理数据6.开始训练1)将训练、验证、测试数据集传入DataLoader2)设置优化函数3) 设置fp16精度、多gpu并行、分布式训练4)是否冻结训练参数5)学习率退火6)训练参数可视化7)轮次训练迭代7.测试评估和预测
原创
2020-06-03 05:56:47 ·
11411 阅读 ·
6 评论