cs224n 笔记1,2

找到了大神的笔记,码一下，一起分享

1. CS224n笔记1 自然语言处理与深度学习简介，
2. CS224n笔记2 词的向量表示：word2vec，
3. word2vec原理推导与代码分析

---

以下是我的渣记

lecture1: NLP简介

NLP,natural language processing

1.自然语言的层次

输入有两种，语音、文本

• 单词分析
• 句法分析
• 语义分析

2.传统机器学习vs深度学习

深度学习是机器学习的分支

• 机器学习，通常人类提取特征，决定哪些特征进行组和分析，或为某些特征设计模板；通过机器学习算法，最优化权值
• 深度学习，自己学习到原始输入的多层特征表示

3.NLP的难点

• 语言模棱两可；程序需要各种明确规则
• 语言有上下文、依赖于常识、背景知识

lecture2: 词向量表示

1.单词的表示

1.1分类表示系统(discrete representation)

• 缺点：
  • 某些同义词之间还是有些微小差别体现不出，比较主观
  • 词库太多，向量超长
  • 例如onehot编码，无法通过运算得到相似性。可能两个词是同一个意思，但两个向量正交
• 需求：建立一个向量直接编码词含义的系统。通过两个向量点积求体现相似性

1.2分布式表示系统(distributes representation)

• 分布相似性理论(distributional similarity：通过上下文得到一个词的意思
• 通过调整单词向量，使上下文单词互相预测。
• 可以通过向量间运算推测单词的关系

2.词嵌入神经网络(word embedding)

• 模型可以预测某单词上下文，表示为
  $$p(context|w_t)$$
• 损失函数：
  $$J=1-p(w_{-t}|w_t)$$
  其中$w_t$指中心词汇；$w_{-t}$指$w_t$的上下文词汇(负号表示除中心词外)。
  最优化$w_t$以最小化损失函数

3.word2vec

中心词和上下文彼此预测。

• 有两个算法：
  • Skip-grams(SG):给定中心预测上下文
  • Continuous Bag of Words(CBOW):利用上下文的词袋预测目标
• 两个效果稍高效的训练方法：
  • Hierarchical softmax
  • negative sampling
    但这门课只讲naive softmax

4.skip-gram

4.1 模型

所有的单词$t=1,\cdots ,T$, 中心词位置为t，预测左/右侧距离m内的单词。模型表示为
$$p(w_{t+j}|w_t),-m⩽j⩽m,j̸=0$$

4.2 最大似然估计

参数$\theta$是整个模型中的唯一参数。
使每个上下文词出现的概率尽可能的大，计算最优$\theta$
$$\begin{array}{rl}\max J^{\prime }(\theta )& =\prod _{t=1}^T\prod _{\genfrac{}{}{0ex}{}{-m⩽j⩽m}{j̸=0}}p(w_{t+j}|w_t;\theta )\end{array}$$
取负对数，最小化目标函数
$$\min J(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{\genfrac{}{}{0ex}{}{-m⩽j⩽m}{j̸=0}}\log p(w_{t+j}|w_t)$$
其中$T$是词个数。得到负对数似然函数$J(\theta )$

4.3 用softmax得到上下文概率分布

$$p(o|c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}$$
其中$c$是中心词在中心词矩阵中的索引，$o$是上下文矩阵中的索引。$v_c$是中心词向量，$u_o$是上下文词向量。

• 利用softmax函数将数值映射为概率分布。
• 向量间的点积可以估计相似性

4.4 skip-gram的神经网络

• $w_t$，词的onehot向量，维度$V\times 1$（V是中心词空间中所有词的数目）
• $W$，中心词空间的嵌入矩阵（代表每个词作为中心词时的向量v组成的矩阵），维度$d\times V$(d是词向量的长度，每列就是一个词向量)
• $v_c=W{w}_t$，是词$w_t$的词向量，维度为$d\times 1$
• $W^{\prime }$，上下文的矩阵（代表每个词作为上下文时的向量u组成的矩阵），维度为$V\times d$
• $W^{\prime }{v}_c=[u_x^T{v}_c]$，上下文矩阵与中心词词向量相乘，得到每个词与中心词的“相似度”，维度为$V\times 1$
• $P(x|c)=softmax(u_x^T|v_c)$，用softmax映射为概率，维度为$V\times 1$
• 用真实值与概率对比计算损失
  
  上面这个图片拷贝自大神博客

我们要学习$W$和$W^{\prime }$。两个矩阵都含有V个词向量，那么每个单词有2个d维向量（作为中心词时的向量$v$，和作为上下文时的向量$u$）。
可以每次学习单个$v_c$和$u_o$。
对于模型来说，把$W$和$W^{\prime }$矩阵所有值叠加起来，那么参数$\theta \in R^{2dV}$

4.5 利用梯度下降最小化目标函数

• 对中心词参数$v_c$求导
  $$\begin{array}{rl}p(o|c)& =\frac{exp(u_o^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}\\ \frac{\partial }{\partial v_c}\log \frac{exp(u_o^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}& =\frac{\partial }{\partial v_c}\log exp(u_o^T{v}_c)-\frac{\partial }{\partial v_c}\log \sum _{w=1}^{V}exp(u_w^T{v}_c)\\ & =u_o-\frac{{\sum }_{x=1}^{V}exp(u_x^T{v}_c)u_x}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}\\ & =u_o-\sum _{x=1}^V\frac{exp(u_x^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}{u}_x\\ & =u_o-\sum _{x=1}^{V}p(x|c)u_x\end{array}$$
  式中的$u_o$代表当前值，${\sum }_{x=1}^{V}p(x|c)u_x$是当前所有上下文的平均值
• 还需要对$u_o$求导
  之后梯度下降法
  $${\theta }^{\prime }\leftarrow \theta -\alpha \nabla J(\theta )$$