一,语言模型
1,基本定义
一个语言模型包含一个词汇集合 V V 和一个函数 ,并且该函数满足:
- 对于任意的词序列 <w1,w2,...,wn>∈S,p(w1,w2,...,wn)≥0 < w 1 , w 2 , . . . , w n >∈ S , p ( w 1 , w 2 , . . . , w n ) ≥ 0 <script type="math/tex" id="MathJax-Element-3"> \in S,p(w_1,w_2,...,w_n)\ge 0</script>,其中 S S 表示基于词汇集合 的词序列集合,词序列就是句子。
- 此外,
∑<w1,w2,...,wn>∈Sp(w1,w2,...,wn)=1 ∑ < w 1 , w 2 , . . . , w n >∈ S p ( w 1 , w 2 , . . . , w n ) = 1
因此,