AMiner研究报告《自然语言处理研究报告》笔记

自然语言处理机制涉及到两个流程：自然语言理解，自然语言生成。自然语言理解的流程包括：语音分析，词法分析，句法分析，语义分析，语用分析。第一次看到语用分析这个词，文中的定义是：研究语言所存在的外界环境对语言使用者所产生的影响。

自然语言发展历程：图灵测试，（理想主义）基于规则的方法，（经验主义）基于统计方法，深度学习。

自然语言的基础技术:语法与句法分析，语义分析，语篇分析，知识图谱，语言认知模型，语言知识表示与深度学习。

词法分析的主要任务是：词性标注，词义标注，其中词性标注主要的任务是确定词性，次要任务解决兼类词和确定未登录词的词性问题，采取的方法有基于规则的和基于统计的，词义标注重点解决如何确定多义词在具体语境中的义项问题，在标注过程中优先确定语境，再确定词义，方法和词性标注类似。

句法分析有完全句法分析和浅层句法分析两种方法，完全句法分析通过一系列的句法分析过程最终得到一个句子完整的句法树，完全句法分析的难点在于词性歧义、搜索空间太大。句法分析也分为基于规则和基于统计的方法，主流方法是基于统计的方法，概率上下文无关文法用的比较多。浅层语法分析又叫部分句法分析或语块分析，只要求识别出句子中某些结构相对简单的成分，浅层语法分析的主要任务是语块的识别和分析，次要任务是语块之间依存关系的分析。

语义分析，有先句法后语义的方法，但主流是句法语义一体化的策略占主流，目前这方面的技术不是很成熟，值得关注的是运用统计方法获取语义信息的研究。

语义与篇章分析，主要涉及文化语境和情景语境，篇章分析将研究扩展到句子之外，对段落和整篇文章进行理解和分析。

自然语言处理应用技术：机器翻译，这部分应用最广泛的是文本翻译，语音翻译是新兴领域，图像翻译、视频翻译、VR翻译还处于理论阶段；信息检索；情感分析；自动问答；自动文摘；社会计算；信息抽取；

自然语言处理人才聚集地：世界范围内美国、西欧是两极，国内北京、哈尔滨、东南海沿岸。

应用：知识图谱、机器翻译、聊天机器人、文本分类、搜索引擎、推荐系统。

趋势：自然语言和专业领域结合、深度理解、对话机器人实用化。