语言模型

语言模型
什么是语言模型
语言模型可以用来判断：是否一句话从语法上通顺，并进行纠正

比较：
今天是周日 - 今天周日是
全民AI是趋势 - 趋势全民AI是

语言模型的作用就是将后者纠正成前者。

通过计算正确率：
P(今天是周日) =60% > p(今天周日是) =20%
p(全民Ai是趋势) =60% > p(趋势全民AI是) =20%

那么如何进行对概率的计算呢？
那么我们就要清楚什么是联合概率：

两个随机变量时：
p(A,B) = p(A|B)*p(B)

四个随机变量时：
p(A,B,C,D) = P(A)*P(B|A)*P(D|A,B,C)

概率方面
概率部分可以参考概率论相关，因此A,B,C,D同样可以是其他的元素，比如汉字：
p(今天,是,春节) = p(今天)*p(是|今天)*p(春节|今天,是)