U1.自然语言处理简介_刘知远老师NLP训练营笔记

一、自然语言处理简介

（一）什么是自然语言？

1. 自然语言是人与人之间用于交流信息、思想、和知识的工具，不同于编程语言。
2. 自然语言存在各种粒度：

（二）什么是自然语言处理？

1. 自然语言处理致力于使计算机理解自然语言
2. 自然语言处理的本质是结构预测！
   

自然语言处理的基础任务

1. Part-of-speech tagging: 词性标注
2. Named entity recognition: 命名实体识别
3. Co-reference resolution: 共指消解
4. Basic dependencies parsing: 依存句法分析

二、自然语言处理的挑战

（一）指数级增长搜索空间

随句子长度增长，句法分析的搜索长度呈指数级增长：

（二）多样性

• 不断增加的新词汇
• 现有词汇的新含义

（三）递归性

套娃语义，自然语言使用递归结构来精确地表达信息

（四）歧义性

1. 单词级别歧义性，通过句子上下文消歧：He sat on the bank of the lake.

2. 句子级别歧义性，通过外部知识或信息消歧：I saw a girl with a telescope.

3. 与地区文化有关
   

三、自然语言处理的重要性

（一）自然语言处理的科学影响力

1.图灵测试的工具

图灵测试：

将人与机器隔开，前者通过一些装置（如键盘）向后者随意提问。多次问答后，如果有超过30%的人不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。

2.许多机构将自然语言处理作为重点研究领域

（二）自然语言处理的应用影响力

1. Apple Siri
2. Speech Translator
3. Sogou Input
4. Google Knowledge Graphs

四、自然语言处理典型任务与应用

值得一看的综述 Advances in Natural Language Processing

任务：

1. 基础任务
2. 搜索引擎及广告
3. 知识图谱：问答机器人
4. 结构化知识
5. 机器阅读
6. 私人助手
7. 机器翻译
8. 情感分析和意图识别
9. 计算社会学