自然语言处理入门 第一周

自然语言处理入门

• 自然语言的概念
• ​自然语言的理解
• 自然语言处理的概念
• 自然语言处理主要步骤
• 自然语言处理的应用方向 

---

 

自然语言的概念

 自然语言的理解

1. 人工智能早期研究的领域之一。
2. 从微观上讲，语言理解是从自然语言到机器内部之间的一种映射。
3. 从宏观上讲，语言理解是指机械能够执行人类所期望的某些功能。

自然语言处理的概念

• 为了研究在人与人交际中以及在人与计算机交际中的语言问题的一门科学。
• 利用计算机为工具对人类特有的书面形式和空头形式的自然语言的信息进行各种类型处理和加工的技术。

自然语言处理主要步骤

1. 分词（只针对中文，英文等西方字母语言已经用空格做好分词了）：将文章按词组分开
2. 词法分析：对于英文，有词头、词根、词尾的拆分，名词、动词、形容词、副词、介词的定性，多种词意的选择。比如DIAMOND，有菱形、棒球场、钻石3个含义，要根据应用选择正确的意思。
3. 语法分析：通过语法树或其他算法，分析主语、谓语、宾语、定语、状语、补语等句子元素。
4. 语义分析：通过选择词的正确含义，在正确句法的指导下，将句子的正确含义表达出来。方法主要有语义文法、格文法。

• 但是以上的分析，仅适用于小规模的实验室研究，远不能应用到实际语言环境中，
• 比如说语法，我们能总结出的语法是有限的，可是日常应用的句子，绝大部分是不遵守语法的，
• 如果让语法包罗所有可能的应用，会出现爆炸的景象。
   

自然语言处理的应用方向 

• 1.文本分类和聚类
• 2.信息检索和过滤
• 3.信息抽取
• 4.问答系统
• 5.拼音汉字转换系统
• 6.机器翻译