![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 91
phoenix-bai
这个作者很懒,什么都没留下…
展开
-
深度学习模型CPT的环境配置经验
CPT code: https://github.com/fastnlp/CPTCPT paper: https://arxiv.org/pdf/2109.05729.pdf数据预处理https://zhuanlan.zhihu.com/p/388830967 megatron-lm中的preprocess_data.py的详解, json格式中, 最重要的key, 即text有值即可用下面的命令, 准备训练数据集jsonfile="/Users/phoenixbai/workspace/原创 2022-04-02 13:56:54 · 2106 阅读 · 0 评论 -
CRF模型详解
条件随机场(CRF)是自然语言处理中的基础模型, 广泛用于分词, 实体识别和词性标注等场景. 随着深度学习的普及, BILSTM+CRF, BERT+CRF, TRANSFORMER+CRF等模型, 逐步亮相, 并在这些标注场景, 效果有显著的提升.下面是我学习CRF的学心总结, 看了多篇知乎, paper, 和CRF++的实现代码后, 终于有了深刻的理解.基础概念首先, 一起看一下随机过程, 随机场, 马尔可夫随机场的定义, 在最后请出条件随机场.随机过程:设 TTT是一无限实数集原创 2021-03-04 07:49:57 · 33756 阅读 · 1 评论