关于语言模型的一些新理解

这几天又陆陆续续的读了关于一些关于NLP上语言模型的书籍,简单总结了下自己的新的认识:

一:语言模型的性能评价:

1:语言模型的评价目标:

语言模型的计算的概率分布能够与真实的理想模型的概率分布可以相接近(这一点其实是比较困难的,但是这是我们一直追求的目标)

2:困难:

无法知道语言模型的理想模型的真实分布

3:常用的几个指标;

交叉熵,困惑度(这又涉及到了关于熵的相关计算,这将和离散数学和图论上学习到的知识应用到实际生产生活中)

4:自然语言统计方法的一般步骤:

1:收集大量的语料(这是基础操作,也是工作量最大的操作)

2:针对语料进行统计分析,得出知识(知识是一些概率,比如像n元语法这样)

3:针对某些场景建立算法,即使是计算简单的概率也会有复杂的算法可以运用,有的甚至可以直接标注(与nlp相关的算法很复杂,但是幸好翻来覆去就这几个)

二:语言模型给我的启示:

开启了自然语言处理的统计方法时代,统计语言模型大概是自然语言处理中最简洁也最漂亮的模型了，在自然语言处理中，统计语言模型的应用包括语音识别、机器翻译、中文分词、拼写检查、语言识别、输入法等等，以至于Google科学家吴军老师的《数学之美》系列第一篇就介绍了统计语言模型

n元语言模型的应用非常广泛，最早期的应用是语音识别、机器翻译等问题。哈尔滨工业大学王晓龙教授最早将其应用到音字转换问题，提出了“语句级拼音输入法”，后来该技术转让给微软，也就是后来的微软拼音输入法。从windows95开始，系统就会自动安装该输入法，并在以后更高版本的windows中和Office办公软件都会集成最新的微软拼音输入法。n年之后，各个输入法的新秀（如搜狗和谷歌）也都采用了n元语法模型技术。

正是因为这么多的应用,语言模型的发明开启了自然语言处理的新时代

这里推荐几本自己看过,自以为觉得不错的书,也希望大家多多交流:

1:

1、《自然语言处理综论》英文版第二版

2、《统计自然语言处理基础》英文版

3、《用Python进行自然语言处理》，NLTK配套书