台湾大学深度学习课程 学习笔记 lecture2-2 Word Representation

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

函数“$f$”的作用

“Meaning”的含义？

怎样表示文字上的语义？
本节课主要讲了两种方法，分别如下：

Knowledge-based representation

这个是传统方法，语言学家们制定了一套 WordNet ，包含了字与字之间的关联。

调用方法：

这种方法有很多局限性。

• 文字会不断地发展
• 主观性较强，不同的人之间有不同的理解
• 工作量比较大
• 字与字之间的相似性很难定义

Corpus-based representation

Atomic symbols

one-hot方法 将所有需计算的文字组成一个向量，给出一个文字，它在向量中的位置标为1，其余都为0，如果 car 在第七个位，则表示方法如下。

但是这种表示方法还是有局限性，如果向量中出现与car具有相关性的 motorcycle， 但是表示这两个单词的向量无论如何进行计算，值都是0，无法体现它们之间的相关性。

为了解决这一问题，想到一种解决方法。car与motorcycle它们相邻的单词（neighbor）如果存在某些关系的话，那么可以认为这两个单词之间具有相关性。

那么如何确定neighbor的范围呢？
下面给出了两种方式，full document 与 windows 。full document可以在同一篇文章中出现过，文章中的文字之间可以根据文章确定一个相关的主题。而windows限定在某个窗口内，可以是几句话或者几个单词之内范围，这种方式可以获得词性等信息。

Neighbor

High-dimensional sparse word vector

Co-occurrence Matrix

设置neighbor窗口为1，将下面三句话根据单词之间neighbor数量转化成矩阵形式。
这样的话，单词所在的向量之间（例如“love”与“enjoy”）的关系就不为0了。

但是这样还是存在一些问题，

• 随着文章字数增加矩阵的大小也会迅速增加；
• 计算量会迅速增加。之前one-hot形式，由于只有一列存在非0数字，所以维度即使再大，计算量也不会增加太多。而现在则不同，每列都有可能有数个非0数字；
• 大部分的有效信息，集中在少数区域。没有有效地“散开”，所以robustness会比较差。

所以就思考能不能降低维度呢？

Low-Dimensional Dense Word Vector

降维dimension reduction

SVD进行降维，如下图，从 $r$ 维降到 $k$ 维。

这种方法还是有些问题：

• 计算量比较大
• 新增文字后，需要重新进行计算

能直接从资料里学出低维结果，而不是高维学习后再进行降维？

directly learn low-dimensional word vectors

两种方法：word2vec (Mikolov et al. 2013) ，Glove (Pennington et al., 2014)

在以后的课程里会详细讲解，本节课中只做简单介绍。

Word2Vec
下面简单介绍了优势和目标，使用神经网络方法进行训练。当word增加后，相当于增加了训练样本，速度比上面方法快得多。

假设neighbor window为m，$w_t$ 前后共计 $2m+1$ 个单词，基于 $w_t$ 使得它的 neighbors 出现的概率最大。由此得到下面的目标函数。

具体 p <script type="math/tex" id="MathJax-Element-448">p</script> 的公式如下。

使用深度学习的方法处理，所有word关系同步更新。