【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）

最新推荐文章于 2024-08-31 11:00:29 发布

好心的小明

最新推荐文章于 2024-08-31 11:00:29 发布

阅读量1k

点赞数 6

文章标签： rnn 自然语言处理笔记

本文链接：https://blog.csdn.net/hxdxiaoming/article/details/141671292

版权

数据集

本次课将使用下列数据集：关于电影评价的数据集。
在这里插入图片描述
下面是数据集的信息：

下载链接：

文本处理的好坏很重要，直接影响到机器学习模型的准确率。

这里将一个单词作为一个token，有些时候还可以将一个字符作为一个token
在这里插入图片描述
讲究的点有如下：

在实际的应用过程中，Tokenization重要且繁琐。

该过程与上节课讲的一致：
在这里插入图片描述

在这里插入图片描述

解决方法：

若采用One-Hot编码，则向量的维度正比与vocabulary的个数，这样编码就太大了。
因此，我们需要把One-Hot的高维向量映射到低维向量。
方法如下：我们利用矩阵变换来实现：乘上一个矩阵P的转置，而这个矩阵P的参数是从训练中得到的：v是原来词向量的维度，d是变换后的词向量维度。其中d是用户自行决定的，会影响模型的表现，在实现中需要用Cross-Validation进行筛选。
下面的参数矩阵P是从文本中训练得来的，会带有感情色彩的信息：由于最终的词向量是二维的，所以可以反映在一个二维平面上。其中感情色彩接近的词会彼此接近，而相反的则会原理，而中性词则会偏中间。

如下图所示，我们在训练过程中需要下列几个参数，这些参数都需要通过交叉验证（Cross-Validation）来确认：
vocabulary： 词汇表的总词数。
embedding_dim： 变换后的向量维度。
word_num： 在文本中取多少个词来进行评估。
Param： 参数量，即矩阵P的参数量，计算方法为行乘以列，需要用多少的参数量来实现高维到低维的转化。