NLP入门（1）— 从NNLM到Word2Vec

前言

这是本人的第一篇博客，主要以记录自己的学习内容为主，由于水平有限，如果内容有误还请各位看官多多包涵，及时指正。本篇博客也多参考了各篇博客、书籍及视频，在此感谢各位前辈的指导。
这一篇博客将要介绍早期NLP发展阶段使用到的模型，随后引出至今为止依然在使用的词向量。

数学基础

贝叶斯公式

贝叶斯公式是英国数学家贝叶斯（ Thomas Bayes）提出来的，用来描述两个条件概率之间的关系。若记P(A)，P(B)分别表示事件A和事件B发生的概率，P(A|B)表示事件B发生的情况下事件A发生的概率，P(A,B)表示事件A，B同时发生的概率，则有
$$P(A|B)=\frac{P(A,B)}{P(B)},P(B|A)=\frac{P(A,B)}{P(A)}$$
根据上面的公式进一步推出
$$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$$
以上便是贝叶斯公式。

统计语言模型

简单说来，统计语言模型简单来讲就是计算一个句子出现概率的概率模型。

模型原理

假设一个句子W 由T个词$w_1,w_2,\cdots ,w_T$按顺序组成，记作
$$W=w_1^T:=\left(w_1,w_2,\cdots ,w_T\right)$$
则一个句子的概率就是词$w_1,w_2,\cdots ,w_T$