初学NLPday2笔记部分

词向量到word2vec与相关应用

NLP常见任务：

1.自动摘要

2.指代消解    小明放学了，妈妈去接他，小明（他）

3.机器翻译    小心地滑   翻译成：slide carefully

4.词性标注

5.分词（中文、日文等）

6.主题识别  topic model  BAT

7.文本分类

处理方法：HMM、CRF、SVM、LDA、CNN...

token vector(分词向量）RNN、LSTM

向量空间子结构：

Vking-Vqueen+Vwomen=Vman

          Vking-Vqueen=Vman-Vwomen

          Vking与Vqueen之间的差异与Vman与Vwomen之间的差异相同

最终目标：词向量表示作为机器学习，特别是深度学习的输入和表示空间

one-hot编码表示：

John likes to watch movies,Mary likes too.    [1,2,1,1,1,0,0,0,1,1]

John also likes to watch football games.     [1,1,1,1,0,1,1,1,0,0]

缺点：虽然有词权重，但是词在文档中的顺序没有被考虑。

TF-IDF（Term Frequency -Inverse Document Frequency)

词t的IDF weight   log(1+N/nt)    N:文档总数   nt：含有词t的文档数

[0.693,1.386,0.693,0.693,1.099,0,0,0,0.693,0.693]

Binary weighting  短文本相似性，Bernouli Naive Bayes

[1,1,1,1,1,0,0,0,1,1]

只有权重不能确定顺序，比如：i love you   和   you love i  的意思并不具体

离散表示：  Bi-gram 和 N-gram

为2-gram建立索引：相邻的两个词汇进行分配顺序：

”John likes":1,

"likes to":2,

"to watch":3,

"watch movies":4,

"Mary likes":5,

"likes too":6,

"John also":7,

"also likes":8,

"watch football":9,

"football games":10.

一句话出现概率：每个词的概率相乘

P(w1,w2,...,wm)=

Unigram/1-gram

P(Mary likes too)=P(too|Mary,likes)*P(likes|Mary)*P(Mary)

                           =P(too)*P(likes)*P(Mary)

Bigram/2-gram

P(Mary likes too)=P(too|likes)*P(likes|Mary)*P(Mary)

酒店、宾馆、旅舍不好捕捉其含义

分布式表示：例：

红色的大型卡车

黄色的中型SUV

紫色的小型电动车

示例中有：颜色20种，型号3种，车型30种

所以需要记忆的单元数为20×3×30种

而分布式表示：20+3+30

用一个词附近的其他词实现共现矩阵  word-word (一定是个对称矩阵，对角线为0）

counts	i	like	enjoy	deep	learning	NLP	flying
i	0	2	1	1	1	1	1
like	2	0	1	1	1	1	1
enjoy	1	1	0	1	1	1	1
deep	1	1	1	0	1	1	1
learning	1	1	1	1	0	1	1
NLP	1	1	1	1	1	0	1
flying	1	1	1	1	1	1	0

使用SVD进行降维：

m×n阶=m×r阶×r×r阶×r×n阶

for i in xrange(len(words)):

       plt.text(V[i,0],V[i,1],words[i])

计算量随语料库和词典增长膨胀太快，对X(n,n)维的矩阵，计算量O(n^3),而对大型的语料库，n~400k,语料库大小1~60Btoken

直接从语言模型出发，将模型最优化过程转化为求词向量表示的过程

例：我爱北京天安门

分为"我，爱，北京，天安门"四个词组。

目标函数：L()  =  logP(Wt|Wt-n+1,...,Wt-1)

(1)使用了非对称的前向窗口函数，窗长度为n-1

(2)滑动窗口遍历了整个语料库求和，计算量正比于语料库大小

(3)P(W|Wt-n+1,...Wt-1)=1  W{vacabulary}

 

Word2Vec:CBOW(连续词袋）

INPUT    PROJECTION      OUTPUT

我喜欢机器学习分成分词：我，喜欢，机器，学习，机器学习

Continue Backforwards

 特点:1.无隐层

          2.使用双向上下文窗口

          3.上下文词序无关(BOW)

          4.输入层直接使用低维稠密表示

          5.投影层简化为求和（平均）

所有维度进行求和

维度减少的两个方法：

1.CBOW的层次softmax方法（使用Huffman树）编码输出层词典

2.负例采样

总体思路：

假设需要降数量级降为500个样本：1个正样本，499个负样本

现在我们有10W个样本，如何采样到这499个负样本呢？

假设：我喜欢你  相对词频取  200 100 200

len(我）=200 /  （200+100+200）同理得到len(喜欢),len(你）

将每个len值×10

将每个len值乘出来的结果划分为不同区域，也就是三个区域

在[1,10-1]范围内抽取随机数（抽499次）

看随机数落在哪个区域，结果对应着”我“ ”喜欢“  ”你“

最后获得499个负例样本。

总结：

Word2Vec问题：对多义词无法进行很好的表示和处理，只使用了唯一的词向量