向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号:datayx
这次的albert某种程度上可能比bert本身更具有意义,恰逢中文预训练模型出来,还是按照之前的数据来做NER方面的fine-tune
项目相关代码获取:
关注微信公众号 datayx 然后回复 命名识别 即可获取。
AI项目体验地址 https://loveai.tech
albert_zh
海量中文语料上预训练ALBERT模型:参数更少,效果更好。预训练小模型也能拿下13项NLP任务,ALBERT三大改造登顶GLUE基准
一键运行10个数据集、9个基线模型、不同任务上模型效果的详细对比
模型性能与对比(英文) Performance and Comparision
albert-chinese-ner
下载albert中文模型,这里使用的是base
将模型文件夹重命名为albert_base_zh,放入项目中
运行
python albert_ner.py
--task_name ner --do_train true --do_eval true --data_dir data --vocab_file ./albert_config/vocab.txt --bert_config_file ./albert_base_zh/albert_config_base.json --max_seq_length 128 --train_batch_size 64 --learning_rate 2e-5 --num_train_epochs 3 --output_dir albert_base_ner_checkpoints
4.最好使用tensorflow > 1.13, 这里运行的是1.15,不支持tf2.0
结果
Base模型下训练3个epoch后:
INFO:tensorflow: eval_f = 0.9280548
INFO:tensorflow: eval_precision = 0.923054
INFO:tensorflow: eval_recall = 0.9331808
INFO:tensorflow: global_step = 2374
INFO:tensorflow: loss = 13.210413
测试结果同样:
[CLS]
B-LOC
I-LOC
O
B-LOC
I-LOC
I-PER
O
O
O
O
O
O
O
O
O
[SEP]
[CLS]
比起Bert本体,模型确实小了很多,效果却基本相当甚至领先bert,训练时间大幅缩小.
BERT-BiLSTM-CRF基于BERT预训练的中文命名实体识别TensorFlow实现
阅读过本文的人还看了以下文章:
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
QQ群
333972581