![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
jj_千寻
qq:425776024
展开
-
WoBERT Pytorch使用
pytorch实现的WoBERT+ 新闻多分类样例代码:https://github.com/425776024/WoBERT1.安装依赖pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt2.WoBERT模型下载方式1.从https://github.com/ZhuiyiTechnology/WoBERT下载keras模型,然后执行转换变成pytorch的模型...原创 2021-02-15 20:20:21 · 1654 阅读 · 6 评论 -
LOTClass中文使用
LOTClass 的中文实验、学习、应用。提供中文新闻多分类案例和数据原始论文完全不适合于中文,因为中文BERT目前大都是基于字的,因此不能直接换BERT来拿来主义的套用到中文BERT。 好在有追一科技提出了词汇级BERT,WoBERT,不过是keras的,不适合Pytorch,于是自己训练了一个:WoBERT。 最后稍微自定义了BERT中的分词器,实现了中文版的LOTClass:https://github.com/425776024/LOTClass...原创 2021-02-15 20:17:11 · 894 阅读 · 0 评论 -
NLP数据增强;中文数据增强包;一键中文数据增强
NLP Chinese Data Augmentation 一键中文数据增强工具介绍一键中文数据增强工具,支持:随机实体替换近义词近义近音字替换随机字删除在不改变原文的情况下生成指定数量的训练语料文本Email:425776024@qq.comAPI随机【(等价)实体】替换from nlpcda.tools.randomword import Randomword...原创 2020-03-08 11:56:46 · 7185 阅读 · 19 评论 -
NLP-HMM
https://www.cnblogs.com/pinard/p/6945257.html简介隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是的机器学习模型,在语言识别,自然语言处理,模式识别等领域得到广泛的应用。当然,随着目前深度学习的崛起,尤其是RNN,LSTM等神经网络序列模型的火热,HMM的地位有所下降。但是作为一个经典的模型,学习HMM的模型和对应算法,...转载 2019-04-05 19:50:09 · 939 阅读 · 0 评论 -
NLP-中文分词-预处理
规则分词:机械的分词方法,主要是通过维护词典,每次分割时将词语中每个字符串与词典表中的词逐一比较,确定是否切割(很费时)。按照切分方式,主要有正向最大匹配法,逆向最大匹配法,及双向最大匹配法。1.正向从左至右取切分汉语的m个字符串作为匹配字段,m是需要设置的字典中最大词条长度;在词典中进行查找,若匹配成功则将匹配字段作为切分词提取出来;若不成功,去掉最后一个字,新的字段再从新去词典里匹...原创 2019-04-05 19:49:45 · 3497 阅读 · 0 评论