1、NLP基础入门

1、NLP基础入门

人工智能的发展和应用越来越深入世界每个角落，人工智能的一个重要部分是认知智能，包括理解、运用语言的能力，掌握知识、运用知识的能力，以及在语言和知识基础上的推理能力。那自然语言就属于认知智能，接下来让我们去了解下什么是自然语言处理。

一、什么是 自然语言处理(Natural Language Processing)

自然语言处理(Natural Language Processing, NLP)，它属于人工智能的一个分支，他的目标就是让计算机能理解人类语言，即将自然语言转换成计算机能够用于理解这个世界的数据。比如是人工智能最核心也最具挑战性的领域，被誉为人工智能科学皇冠上的明珠。大数据为自然语言处理的发展提供了数据基础。

二、发展现状

自然语言处理已经深入我们的日常生活，工作，学习的各个方面， 给人们带来了极大的方便。

自然语言处理（NLP）正处于历史上最好的发展时期，技术在不断进步并与各个行业不断融合、落地。各种预训练模型BERT，GPT，ERNIE，XLNET，ELMo等在多项NLP任务中获得提升，受到工业界和学术界广泛的关注。

三、NLP的基础技术

四、NLP主要应用领域

信息检索(information retrieval)
框架如图所示

问答系统(QA)

• 问答系统的目的是直接提供用户的答案
• 问答系统和检索系统的区别：检索系统返回相关的结果，问答系统则直接返回答案
  问答系统需要更多语义方面的理解

情感分析

用于衡量人们的观点倾向。例如，我们可以对电商商品评论或由该商品引起的情绪状态进行分析。

聊天机器人

NLP是创建聊天机器人的基础。例如微软小娜、苹果siri、小i机器人、谷歌的cortana、百度的小度机器人等等。

用户意图识别

让搜索引擎能够识别出与用户输入的查询最相关的信息，识别出用户的真实意图。

五、NLP的一般处理流程