简介
NLP就是计算机使用自然语言作为输入和输出,让电脑与人进行沟通的中间步骤,大致可分为:机器翻译,信息提取,文本归纳,对话系统...
语言模型
我们有有限个数的词汇
![](https://img-my.csdn.net/uploads/201302/28/1362047612_6651.jpg)
无限个数的句子,有词汇自由组成,而语言模型就是判断这个句子是否像人说的话,对于计算机来讲很难,所以用概率分布来体现一个句子的正确性:
![](https://img-my.csdn.net/uploads/201302/28/1362047635_4141.jpg)
![](https://img-my.csdn.net/uploads/201302/27/1361940082_4534.jpg)
![](https://img-my.csdn.net/uploads/201302/28/1362047660_2896.jpg)
比较典型的有马尔科夫模型、隐马尔可夫模型、条件随机场等
三元语言模型
满足:
1、一个词的集合V;
2、一个参数q(w|u,v)其中w,u,v满足
![](https://img-my.csdn.net/uploads/201302/28/1362041106_2057.jpg)
对于x1...xn,有xn属于{STOP},(x1...xi...xn)均属于V,且
![](https://img-my.csdn.net/uploads/201302/28/1362041543_7462.jpg)
![](https://img-my.csdn.net/uploads/201302/28/1362041552_4621.jpg)
例:
![](https://img-my.csdn.net/uploads/201302/28/1362041610_1088.jpg)
![](https://img-my.csdn.net/uploads/201302/28/1362041849_9286.jpg)
语言模型衡量指标
1、计算复杂度
2、测试效果