语言模型
比如一句话 I want to study，那么用概率表示这句话的概率就是
P(I)P(want|I)P(to|I want)P(study|I want to)
如果希望这个概率最大，就可以训练了
word2vec
有两种方法CBOW和Skip-gram
CBOW类似完形填空从一句话中扣掉一个单词
其中有个窗口值window ，被扣掉的词叫中心词，中心词为中心，范围为window的所有词是背景词
跳字模型和他相反 保留中心词
区别就是P(I want study|to)和P(to|I want study)
因为相互独立
前者可以拆成3个P
那么如何训练呢
参数是中心词和背景词的 向量
最大化似然函数概率
等价于最小化损失函数为
−
∑
t
=
1
T
∑
−
m
≤
j
≤
m
,
j
≠
0
log
,
P
(
w
(
t
+
j
)
∣
w
(
t
)
)
.
- \sum_{t=1}^{T} \sum_{-m \leq j \leq m,\ j \neq 0} \text{log}, P(w^{(t+j)} \mid w^{(t)}).
−t=1∑T−m≤j≤m, j=0∑log,P(w(t+j)∣w(t)).
log
P
(
w
o
∣
w
c
)
=
u
o
⊤
v
c
−
log
(
∑
i
∈
V
exp
(
u
i
⊤
v
c
)
)
\log P(w_o \mid w_c) = \boldsymbol{u}_o^\top \boldsymbol{v}c - \log\left(\sum{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)\right)
logP(wo∣wc)=uo⊤vc−log(∑i∈Vexp(ui⊤vc))
如果用梯度下降法
那么梯度
∂
log
,
P
(
w
o
∣
w
c
)
∂
v
c
=
u
o
−
∑
j
∈
V
P
(
w
j
∣
w
c
)
u
j
.
\frac{\partial \text{log}, P(w_o \mid w_c)}{\partial \boldsymbol{v}_c} = \boldsymbol{u}o - \sum{j \in \mathcal{V}} P(w_j \mid w_c) \boldsymbol{u}_j.
∂vc∂log,P(wo∣wc)=uo−∑j∈VP(wj∣wc)uj.
其中为了加入噪声采取了一些办法
有两个向量mask和label用来区分中心词，背景词，和噪声词
扫一扫
1269
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
