CS224d lecture04

训练数据集： { x i , y i } i = 1 N \{x_i,y_i\}^N_{i=1} {xi​,yi​}i=1N​

机器学习中的分类

假定输入x是固定的，训练参数W，预测$$P(y|x)=\frac{W_y,x)}{{\sum }_{c=1}^{C}exp(W_c,x)}$$

具体过程：

C：总类别数。
W：模型参数矩阵。
对c=1…C都要计算$f_c$。
$$W_y\cdot x=\sum _{i=1}^d{W}_{y_i}{x}_i=f_y$$
归一化：
$$P(y|x)=\frac{exp(f_y)}{{\sum }_{c=1}^{C}exp(f_c)}=softmax(f{)}_y$$

总体损失函数：$$J(\theta )=\frac{1}{N}\sum _{i=1}^N-log(\frac{e^{f_{y_i}}}{{\sum }_{c=1}^C{e}^{f_c}})+\lambda \sum _k{\theta }_k^2$$
其中$\lambda {\sum }_k{\theta }_k^2$是正则项：使模型权值尽可能小。
$f=Wx$：$f$是模型。

词窗口分类（Window Classification）

训练一个softmax分类器，给中心词分配一个标签，然后用一个窗口把它前后的单词连接起来。

例：窗口长度为2=>中心词左右各两个单词，加中心词，窗口内共五个单词。
$$...museumsinParisareamazing...$$
$$x_{window}=[X_{m}useums{X}_{in}{X}_{Paris}{X}_{are}{X}_{amazing}{]}^T\in R^{5d}$$
$x=x_{window}$:
$$\widehat{y_y}=P(y|x)=\frac{exp(W_y\cdot x)}{{\sum }_{c=1}^{C}exp(W_c\cdot x)}$$
其中$\widehat{y_y}$指模型预测的正确类别。

更新词向量

标记：
$t$：目标概率分布。独热向量：只有在正确类别y的值为1，其余为零。
$f=f(x)=Wx\in R^C$：C维向量，C是类别的数量。
链式法则：
$$\frac{\partial }{\partial x}-log(softmax(f_y(x))$$
$$=\sum _{c=1}^C-\frac{\partial log(softmax(f_y(x)}{\partial f_c}\cdot \frac{\partial f_c(x)}{\partial x}$$
考虑两种情况：
（1）$c=y$。
（2）$c̸=y$
$$\frac{\partial }{\partial x}-log(softmax(f_y(x))=[\widehat{y_1},\widehat{y_2},...,\widehat{y_y}-1,...\widehat{y_C}{]}^T$$
在正确类别减一，其他什么也不做。
公式向量化：
$$\frac{\partial }{\partial x}-log(softmax(f_y(x))=[\hat{y}-t]=\delta$$
$\delta$：误差信号
$$=\sum _{c=1}^C-\frac{\partial log(softmax(f_y(x)}{\partial f_c}\cdot \frac{\partial f_c(x)}{\partial x}=\sum _{c=1}^C{\delta }_c{W}_c^T$$
$$\frac{\partial }{\partial x}-logP(y|x)=\sum _{c=1}^C{\delta }_c{W}_c^T=W^T\delta \in R^{5d}$$
这里的x指窗口，则：
$${\nabla }_{x}J=W^T\delta ={\delta }_{x_{window}}=[{\nabla }_{x_{museums}},{\nabla }_{x_{in}},{\nabla }_{x_{Paris}},{\nabla }_{x_{are}},{\nabla }_{x_{amazing}}{]}^T\in R^{5d}$$
这个窗口中有$in$，则这个梯度会出现在所有包含$in$的窗口中。