动手学习深度学习 | 语言模型和循环神经网络笔记

最新推荐文章于 2023-03-01 16:34:56 发布

yuanCruise

最新推荐文章于 2023-03-01 16:34:56 发布

阅读量480

点赞数

分类专栏：动手学习深度学习笔记

本文链接：https://blog.csdn.net/qiu931110/article/details/104292998

版权

本文介绍了文本处理的整体流程，包括分词、数据去重编号、采样方法（随机采样和相邻采样）以及语言模型如n-gram和RNN的应用。重点讨论了spacy在分词中的作用，以及RNN如何解决n-gram模型的局限性。

摘要由CSDN通过智能技术生成

0.文本处理整体概况

step1：对原始数据进行分词
step2：对分词后的数据进行去重编号，得到[词语to序号]的列表，和[序号to词语]的字典。将这两部分用作后续训练循环神经网络的数据集。
step3：通过一些采样方法对构建的数据集进行采样，得到训练的批次。常见的采样方法有随机采样和相邻采样。
step4：利用语言模型对上述的数据集进行训练，得到一个nlp模型。语言模型有n元语法模型，RNN模型，LSTM模型等。

1.使用spacy可以进行语言分词

达到很好的直观效果，相较于自己构建的逻辑，更加符合语言本身词意的分词操作，且可以将分词对应的idx对应输出。

import spacy
text = "Mr. Chen doesn't agree with my suggestion."
nlp = spacy.load('en_core_web_sm')
doc = nlp(text)
print([token.text for token in doc])
print([token.idx for token in doc])

#------------------
['Mr.', 'Chen', 'does', "n't", 'agree', 'with', 'my', 'suggestion', '.']
[0, 4, 9, 13, 17, 23, 28, 31, 41]