数学之美——自然语言处理—从规则到统计

看书过程中记一些好玩的

---

• 上世纪七十年代，基于规则的句法分析（包括文法分析或者语义分析）很快走到了尽头，而对语义的处理则遇到了更大的麻烦，首先，自然语言中词的多义性很难用规则表达清楚，而严重依赖于上下文，甚至是“世界的知识”或者常识，1970年以后的统计语言学的出现使得自然语言处理重获新生，并取得非凡成就。

• 自然语言处理的应用在过去25年里发生了巨大的变化，比如对自动问答的需求很大程度上被网页搜索和数据挖掘替代了，而新的应用越来越依靠数据的作用和浅层自然语言处理的工作，这在客观上大大加速了自然语言处理研究从基于规则的方法到基于统计的方法的转变。

• 自然语言处理的研究从单纯的句法分析和语义理解，变成了非常贴近实际应用的机器翻译，语音识别，文本到数据库自动生成，数据挖掘和知识的获取等等。