NLP文本分布式表示

基于矩阵的方法

• 用一个词附近的其他词来表示该词
• 共现矩阵(Cocurrence matrix)
  主要用于发现主题，解决词向量相近关系的表示；
  将共现矩阵行(列)作为词向量
  例如：语料库如下：
  • I like deep learning.
  • I like NLP.
  • I enjoy flying.

则共现矩阵表示如下：（使用对称的窗函数（左右window length都为1) ）

例如：“I like”出现在第1，2句话中，一共出现2次，所以=2。
对称的窗口指的是，“like I”也是2次

将共现矩阵行(列)作为词向量表示后，可以知道like，enjoy都是在I附近且统计数目大约相等，他们意思相近

共现矩阵不足：

• 向量维数随着词典大小线性增长
• 面临稀疏性问题

解决：SVD、PCA降维，但是计算量大

基于神经网络的方法

NNLM(Neural Network Language model)

NNLM是从语言模型出发(即计算概率角度)，构建神经网络针对目标函数对模型进行最优化，训练的起点是使用神经网络去搭建语言模型实现词的预