NLP学习一：基本知识

NLP:自然语言处理：获取人类语言，将其分解，分析，确定适当的操作，并以人类理解的语言进行响应。

NLP = NLU(自然语言理解) + NLG(自然语言生成)

1.为什么自然语言比computer vision(视觉)难？

 视觉是可见即所得，语言是一词多意，要具体判断语境的意思。

2.NLP常用操作 :上下文context

3.机器翻译步骤：两个步骤：

1、把每句话作分词，将每个分词翻译，

2、将每个分词的翻译排列组合，并通过语言模型过滤掉不符合语法的组合。

缺点：复杂度特别高O(2^n)NP Hard问题

将两个步骤简化为一个步骤：维特比(Viterbi)算法 （核心为动态规划(DP)）

三种方法：

 

语言模型：根据概率判断是否是人话

1、怎么计算概率

  通过每个单词的概率乘积得到联合概率

  语言模型训练得到每个单词的概率

 

二、NLP应用：

 1、 问答系统：

基于检索方法：

2、情感分析

3、机器翻译

4、自动摘要 难度大于机器f翻译

 

5、聊天机器人

 

6、信息抽取

三、NLP关键技术

分词算法、词性分析算法、命名实体识别算法、句法分析、依存分析、关系抽取

分词算法：将一句话按照一定规范分割为词组成的序列

常用算法参考：https://blog.csdn.net/u013783249/article/details/80669798

词性标注算法： 词性标注：将句子中兼类词的词性根据上下文唯一地确定下来。

命名实体识别算法：参考：https://blog.csdn.net/ARPOSPF/article/details/81106212

句法分析 参考：https://blog.csdn.net/qq_28031525/article/details/79187080

依存分析：参考https://blog.csdn.net/sinat_33741547/article/details/79258045

关系抽取：参考http://www.xjishu.com/zhuanli/55/201610532802.html