![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 60
cxxx17
为什么可乐一定要加冰
展开
-
【分词】Long Short-Term Memory Neural Networks for Chinese Word Segmentation
1 Introduction比较古早的文章了,2015年的ACL,用LSTM做分词的开山之作?分词是中文自然语言处理的基础(在BERT出现之前),当下最流行的分词方法即把分词当做一个序列标注任务。用有监督的方法去训练模型,常用的有最大熵(ME)和条件随机场(CRF)。但是这些方法,特征需要经过精心的设计,很容易过拟合到训练语料。最近神经网络的兴起,降低了分词任务中特征工程的工作量。但目前的方法,用到的是一定窗长的上下文,这在一些需要很长上下文的场景下,会使模型的效果受限。比如:冬天 (winter),能原创 2021-11-16 00:08:32 · 967 阅读 · 0 评论 -
Hugging Face 预训练模型的下载及使用
以bert-base-chinese为例,首先到hugging face的model页,搜索需要的模型,进到该模型界面。在本地建个文件夹:mkdir -f model/bert/bert-base-chinese将config.json、pytorch_model.bin(与tf_model.h5二选一,用什么框架选什么)、tokenizer.json、vocab.txt下载到刚才新建的文件夹中。(对于一般的模型config.json、tokenizer.json、pytorch_model.b原创 2021-03-10 19:25:24 · 9168 阅读 · 3 评论 -
【LM】轻量化BERT
BERT的一些轻量化变种1.AIBert2.DistillBert1.AIBert通过矩阵分解、共享参数来压缩BERT模型,压缩比主要由共享参数这个策略贡献。从模型参数的角度,AIBert相比BERT压缩了9倍;从inference的计算量的角度,AIBert与相比BERT没有本质的差异aibert。2.DistillBert...原创 2021-07-20 16:44:04 · 511 阅读 · 0 评论