NLP基础介绍

What is NLP?
NLP = NLU + NLG
NLU：语言、文本——>意思
NLG：意思——>语音文本
解决问题：一词多义。
怎么解决：如果没有语境，只能通过词语使用概率进行猜测；有语境就加上 上下文 即与该词有关的信息。
例如：机器翻译。
原始：每个单词对照翻译
改进：先进行大概翻译，再从各个可能的翻译中选取概率最大的翻译。缺点：时间复杂度很高。
语言模型：给定一句英文e，计算概率（e），如果是符合英文语法的p(e)会高，如果是随机语句，p(e)会低
翻译模型：给定一对<c,e>，计算p(f|e)，语义相似度高则p(f|e)高，否则低。
Decoding Algorithm：给定语言模型，翻译模型和f，找出最优的使得p(e)p(f|e)最大。
NLP经典实用场景
1、问答系统
知识库
2、情感分析
股票价格预测、舆情监控、产品评论、事件监测
3、机器翻译
4、自动摘要
5、聊天机器人
6、信息抽取（最重要的一个领域）
NLP关键技术
1、自然语言处理技术四个维度
语义（最后的目标，NLU，机器学习算法） 句子结构（关注单词和单词之间的关系，包括句法分析、非常依赖于语言，还包括依存分析、分析每个单词之间有什么关系） 单词（最底层技术 分词、词性） 声音
2、分词算法
3、词性
4、命名实体识别
5、关系抽取