统计语言模型简述

最近在学习机器学习、自然语言处理相关知识。就我目前接触的范围来说，这两方面数学占的比重还是极大的。

机器学习的课程我推荐coursera上的machine learning课程。而自然语言处理的大致了解我觉得可以从“数学之美”这本书开始着手。

本文重点对我看了数学之美的几个章节的知识点进行总结归纳。

在上世纪末基于规则的自然语言处理和基于统计的自然语言处理处于相持阶段。两方面学者的争吵在Google公司的基于统计方法的翻译系统全面超过基于规则方法的SysTran翻译系统后，正式终结。基于规则的自然语言处理其实会面临许多问题，其中一个问题就是基于常识的处理。在1966年，人工智能专家明斯基用一个简单的例子阐明了这一问题。“The pen is in the box”（这支钢笔在盒子里面），"The box is in the pen"（这个盒子在栅栏里面）。这个问题的关键在于pen所表达的意思的确定。这里既不能从上下文获取信息也无法从句子本身确定，需要的是钢笔通常比盒子小而栅栏比盒子大的常识。这里的翻译需要基于这样的常识对pen的意思作出选择。若仍采用基于规则的自然语言处理方法，要处理这样的问题不但难度大而且会大大增加问题的规模。