NLP的两大核心任务:NLP = NLU + NLG
NLU(自然语言理解):
NLG(自然语言生成):
NLP的基础任务:
- 分词(前向最大匹配算法,后向最大匹配算法)
- 词性标注(POS,也叫序列标注sequence labeling,每个单词单独做分类,
算法:HMM,CRF) - 命名实体识别(NER)
- 句法分析(syntatic analysis,主谓宾)
- 语义分析(semantic analysis,如何理解一个单词和文本的意思)
NLP常见的应用:
- 写作助手(拼写纠错,语言模型)
- 文本分类(情感,情绪,主题分类)
- 信息检索(搜索引擎)
检索 —> 文本处理 —> 搜索(文本库—>索引(倒排表)) —> 排序(pagerank) - 问答系统(QA)
-目的:直接给用户提供答案
-问答系统和检索系统的区别:检索返回相关结果,问答直接返回答案
-问答系统需要更多语义方面的理解 - 自动生成文本摘要(抽取式,生成式)
- 机器翻译
- 基于规则
- 基于统计
- 神经网络(端到端)
- 信息抽取(NER,实体统一,指代消解,关系分类)