自然语言处理 | (1)NLP简介

目录

1.NLP概述

2.NLP核心问题

3.NLP典型应用

---

1.NLP概述

• 定义：自然语言处理(Natural Language Processing),简称NLP，是一种用计算机对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。
• 任务通过处理和理解语言，来构建执行某些任务的系统。

• 地位：人工智能与语言学的交叉学科，是人工智能的一个重要分支(和计算机视觉、语音等构成人工智能的不同研究领域；也被叫做计算语言学；基于机器学习和深度学习方法可以解决很多NLP问题) 

 

2.NLP核心问题

• 文本分类(如对新闻文本进行分类，判断一段新闻文本是体育类、财经类还是政治类等)
• 关键词提取
• 情感分析(如对用户对于商品或电影的评价以及人们对某一件事的看法进行情感分析，是褒还是贬，是赞同喜欢还是反对厌恶等)
• 语义消岐
• 主题模型
• 机器翻译(将一种语言翻译成另一种语言，如机器将英文翻译成汉语)
• 问题问答/问答系统QA
• 汉语分词
• 垂直领域的对话机器人
• ...

上述核心问题大致可以分为四大类：

• 序列标注: 分词/词性标注(pos tag)/命名实体识别(NER)/语义标注...
• 分类任务: 文本分类/情感分析...
• 句子关系判断:问答系统(QA,下一个句子是否可以作为上一个句子的答案)/自然语言推理/智能对话(客服机器人)/蕴含(entailment)/机器阅读...
• 生成式任务:机器翻译/文本摘要/文本生成(唐诗宋词对联生成，口语生成，机器写作)/文本风格迁移

3.NLP典型应用