- 博客(3)
- 收藏
- 关注
原创 NLP-中文、英文分词
文章目录前言英文分词方法1.古典分词方法2.基于子词的分词方法(Subword Tokenization)2.1 BPE2.2 WordPiece2.3 Unigram Language Model中文分词方法1.基于规则的分词2.基于统计的分词3.混合分词4.基于深度学习的分词前言学习笔记【NLP英文分词方法和中文分词方法】机器无法理解文本。当我们将句子序列送入模型时,模型仅仅能看到一串字节,它无法知道一个词从哪里开始,到哪里结束,所以也不知道一个词是怎么组成的,为了帮助机器理解文本就需要:1将
2022-05-08 22:57:56
2481
原创 NLP-bert4keras文本分类
bert4keras + textCNN实现文本分类前言一、data process二、model三、train四、predict前言利用bert4keras库和textCNN实现文本分类bert4keras:官方GitHub链接,里面有要求的keras和tensorflow版本有时候不按照官方限制的版本也可以运行,反正出错就百度,安装库都是小问题BERT预训练模型下载:GitHub链接B站:KBQA项目实战第9期-使用bert+textcnn做意图识别和文本分类以及我根据自己实际使用修改的
2022-04-20 21:56:11
1868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人