Language Modeling

一，语言模型

1，基本定义

一个语言模型包含一个词汇集合$V$和一个函数$p(w_1,w_2,...,w_n)$，并且该函数满足：

1. 对于任意的词序列 <w1,w2,...,wn>∈S,p(w1,w2,...,wn)≥0 < w 1 , w 2 , . . . , w n >∈ S , p ( w 1 , w 2 , . . . , w n ) ≥ 0 <script type="math/tex" id="MathJax-Element-3"> \in S,p(w_1,w_2,...,w_n)\ge 0</script>，其中 $S$表示基于词汇集合$V$的词序列集合，词序列就是句子。
2. 此外， $$\sum_{<w_1,w_2,...,w_n>\in S}p(w_1,w_2,...,w_n)=1$$
   因此，