word2vecd原理

一、基础知识

sigmoid函数：

sigmoid函数图像：随着x的增大，则值趋向1

sigmoid的导函数则为：

和导函数分别为：

对数似然函数：当y=1时，假定这个样本为正类。如果此时hθ(x)=1hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的cost=0 
但是如果此时预测的概率hθ(x)=0hθ(x)=0，那么cost→∞cost→∞。直观解释的话，由于此时样本为一个正样本，但是预测的结果P(y=1|x;θ)=0P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0，那么此时就要对损失函数加一个很大的惩罚项。 
当y=0时，同理。

=》

二、n-gram模型

有贝叶斯公式可知，贝叶斯公式可近似：

，当语料库足够大时

假定一个词出现的概率只和他出现的前面的n个词有关，而不是整个句子，则可得到：

，表示的是从第一个词到第k个词构成的句子在预料库中出现的次数，有上式可得，

三、平滑技术

为了解决当和极端情况，出现平滑技术。