统计自然语言处理摘要

自然语言处理(NLP)的研究内容

1.机器翻译

2.自动文摘

3.信息检索

4.文本分类，值得一提的是，近年来，情感分类已经成为本领域研究的热点

5.问答系统

6.信息过滤

7.信息抽取

8.文本挖掘

9.舆情分析

10.隐喻计算

11.文字编辑和自动校对

12.作文自动评分

13.光读字符识别

14.语音识别

15.文语转换

16.说话人识别

自然语言处理面临的困难

实现上面的这些应用目标的关键问题就是歧义消解问题和未知语言现象的处理问题

自然语言处理的基本方法

1.理性主义方法：根据规则，首先由词法分析器对句子的输入单词进行词法分析，然后语法分析器根据语法规则对句子进行语法结构分析，最后根据一套变换规则将语法结构映射到语义符号。

2.经验主义方法：通过建立特定的数学模型来学习复杂的、广泛的语言结构，然后利用统计、模式识别和机器学习等方法来训练模型的参数，以扩大语言使用的规模。因此我们又称其为统计自然语言处理。显然在这个过程中，需要收集一些文本作为统计模型建立的基础，这些文本成为语料，经过筛选、加工和标注等处理的大批量语料构成的数据库叫做语料库。

图灵测试

图灵测试（The Turing test）由艾伦·麦席森·图灵发明&