什么是NLP

$定义$$介绍$

$自然语言处理$，$英文$Natural Language Processing，$简写$NLP。NLP$这个$$概念$$本身$$过于$$庞大$，$可以$$把$$它$$分成$“$自然$$语言$”$和$“$处理$”$两$$部分$。$先$$来看$$自然$$语言$。$区分$$于$$计算机语言$，$自然$$语言$$是$$人类$$发展$$过程$$中$$形成$$的$$一$$种$$信息$$交流$$的$$方式$，$包括$$口语$$及$$书面语$，$反映$$了$$人类$$的$$思维$，$都$$是$$以$$自然$$语言$$的$$形式$$表达$。

$现在$$世界$$上$$所有$$的$$语种$$语言$，$都$$属于$$自然$$语言$，$包括$$汉语$、$英语$、$法语$$等$。$然后$$再$$来看$“$处理$”。$如果$$只是$$人工$$处理$$的话$，$那$$原本$$就$$有$$专门$$的$$语言学$$来$$研究$，$也$$没$$必要$$特地$$强调$“$自然$”。$因此$，$这个$“$处理$”$必须$$是$$计算机$$处理$$的$。$但$$计算机$$毕竟$$不是$$人$，$无法$$像$$人$$一样$$处理$$文本$，$需要$$有$$自己$$的$$处理$$方式$。$因此$$自然语言处理$，$简单$$来说$$即$$是$$计算机$$接受$$用户$$自然$$语言$$形式$$的$$输入$，$并$$在$$内部$$通过$$人类$$所$$定义$$的$$算法$$进行$$加工$、$计算$$等$$系列$$操作$，$以$$模拟$$人类$$对$$自然$$语言$$的$$理解$，$并$$返回$$用户$$所$$期望$$的$$结果$。$正如$$机械$$解放$$人类$$的$$双手$$一样$，$自然语言处理$$的$$目的$$在于$$用$$计算机$$代替$$人工$$来$$处理$$大规模$$的$$自然$$语言$$信息$。$它$$是$$人工智能$、$计算机$$科学$、$信息工程$$的$$交叉$$领域$，$涉及$$统计学$、$语言学$$等$$的$$知识$。$由于$$语言$$是$$人类$$思维$$的$$证明$，$故$$自然语言处理$$是$$人工智能$$的$$最高$$境界$，$被$$誉为$“$人工智能$$皇冠$$上$$的$$明珠$”。

$发展$$历程$

$1948$$年$，$香$$农$$提出$$信息$$熵$$的$$概念$。$此时$$尚未$$有$NLP，$但$$由于$$熵$$也$$是$NLP$的$$基石$$之一$，$在$$此$$也$$算作$$是$NLP$的$$发展$$历程$。

$按照$$维基$$百科$$的$$说法$，NLP$发源$$于$$1950$$年$。$图灵$$于$$该$$年$$提出$“$图灵$$测试$”，$用以$$检验$$计算机$$是否$$真正$$拥有$$智能$。

NLP$规则$$时代$

$1950$-$1970$$年$，$模拟$$人类$$学习$$语言$$的$$习惯$，$以$$语法$$规则$$为$$主流$。$除了$$参照$$乔姆$$斯基$$文法$$规则$$定义$$的$$上下文$$无关$$文法$$规则$$外$，NLP$领域$$几乎$$毫无$$建树$。

NLP$统计$$时代$

$20$$世纪$$70$$年代$$开始$$统计$$学派$$盛行$，NLP$转向$$统计$$方法$，$此时$$的$$核心$$是$$以$$具有$$马尔$$科夫$$性质$$的$$模型$（$包括$$语言$$模型$，$隐$$马尔$$可夫$$模型$$等$）。

$2001$$年$，$神经$$语言$$模型$，$将$$神经$$网络$$和$$语言$$模型$$相结合$，$应该$$是$$历史$$上$$第一$$次$$用$$神经$$网络$$得到$$词$$嵌入$$矩阵$，$是$$后来$$所有$$神经$$网络$$词$$嵌入$$技术$$的$$实践$$基础$。$也$$证明了$$神经$$网络$$建模$$语言$$模型$$的$$可能性$。

$2001$$年$，$条件$$随$$机场$CRF，$从$$提出$$开始$$就$$一直$$是$$序列$$标注$$问题$$的$$利器$，$即便$$是$$深度$$学习$$的$$现在$$也$$常加$$在$$神经$$网络$$的$$上面$，$用以$$修正$$输出$$序列$。

$2003$$年$，LDA$模型$$提出$，$概率$$图$$模型$$大放异彩$，NLP$从此$$进入$“$主题$”$时代$。Topic$模型$$变种$$极$$多$，$参数$$模型$LDA，$非$$参数$$模型$HDP，$有$$监督$$的$LabelLDA，PLDA$等$。

$2008$$年$，$分布式$$假设$$理论$$提出$，$为$$词$$嵌入$$技术$$的$$理论$$基础$。

$在$$统计$$时代$，NLP$专注$$于$$数据$$本身$$的$$分布$，$如何$$从$$文本$$的$$分布$$中$$设计$$更多$$更好$$的$$特征$$模式$$是$$这$$时期$$的$$主流$。$在$$这$$期间$，$还有$$其他$$许多$$经典$$的$NLP$传统$$算法$$诞生$，$包括$tfidf、BM$25$、PageRank、LSI、$向量$$空间$$与$$余弦$$距离$$等$。$值得一提的是$，$在$$20$$世纪$$80$、$90$$年代$，$卷$$积$$神经$$网络$、$循环$$神经$$网络$$等$$就$$已经$$被$$提出$，$但$$受限$$于$$计算$$能力$，NLP$的$$神经$$网络$$方向$$不$$适于$$部署$$训练$，$多$$停留$$于$$理论$$阶段$。

NLP$深度$$时代$

$2013$$年$，word2vec$提出$，NLP$的$$里程碑式$$技术$。

$2013$$年$，CNNs/RNNs/Recursive
NN，$随着$$算$$力$$的$$发展$，$神经$$网络$$可以$$越$$做$$越深$，$之前$$受限$$的$$神经$$网络$$不再$$停留$$在$$理论$$阶段$。$在$$图像$$领域$$证明$$过$$实力$$后$，Text
CNN$问世$；$同时$，RNNs$也$$开始$$崛起$。$在$$如今$$的$NLP$技术$$上$，$一般$$都$$能$$看见$CNN/LSTM$的$$影子$。

$本世纪$$算$$力$$的$$提升$，$使$$神经$$网络$$的$$计算$$不再$$受限$。$有$$了$$深度$$神经$$网络$，$加上$$嵌入$$技术$，$人们$$发现$$虽然$$神经$$网络$$是$$个$$黑盒子$，$但$$能$$省去$$好多$$设计$$特征$$的$$精力$。$至此$，NLP$深度$$学习$$时代$$开启$。

$2014$$年$，seq2seq$提出$，$在$$机器翻译$$领域$，$神经$$网络$$碾压$$基于$$统计$$的$SMT$模型$。

$2015$$年$，attention$提出$，$可以$$说$$是$NLP$另$$一$$里程碑式$$的$$存在$。$带$attention$的$seq2seq，$碾压$$上$$一$$年$$的$$原始$seq2seq。$记得$$好像$$17$$年$$年初$$看过$$一$$张$$图$，$调侃$$当时$$学术界$$都$$是$attention$的$$现象$，$也$$证明了$attention$神$$一般$$的$$效果$。

$2017$$年末$，Transformer$提出$。$似乎$$是$$为了$$应对$Facebook$纯$$用$ CNN $来$$做$seq2seq$的$“$挑衅$”，google$就$$纯$$用$attention，$并$ $发表$ $著名$ $的$《Attention is All You Need》。$初看$$时$$以为$$其$$工程$$意义$$大于$$学术$$意义$，$直到$BERT$的$$提出$$才$$知道$ $自己$ $还是$too young。

$2018$$年末$，BERT$提出$，$横扫$ $11$$项$NLP$任务$，$奠定$ $了$$预$$训练$$模型$$方法$$的$$地位$，NLP$又$$一$$里程碑$$诞生$。$光$$就$ SQuAD $2.0$ $上前$ 6 $名$$都$$用$$了$BERT$技术$$就$$知道$BERT$的$$可怕$。

$深度$$学习$$时代$，$神经$$网络$$能够$$自动$$从$$数据$$中$$挖掘$$特征$，$人们$$从$$复杂$$的$$特征$$中$$脱离$$出来$，$得以$$更$$专注$$于$$模型$$算法$$本身$$的$$创新$$以及$$理论$$的$$突破$。$并且$$深度$$学习$$从$$一$$开始$$的$$机器翻译$$领域$$逐渐$$扩散$$到$NLP$其他$$领域$，$传统$$的$$经典$$算法$$地位$$大$$不如$$前$。$但$$神经$$网络$$似乎$$一直$$是$$个$$黑箱$，$可$$解释$$性$$一直$$是$$个$$痛$$点$，$且$$由于$$其$$复杂度$$更高$，$在$$工业界$$经典$$算法$$似乎$$还是$$占据$$主流$。

$基本$$分类$

NLP$里$$细分$$领域$$和$$技术$$实在$$太多$，$根据$NLP$的$$终极$$目标$，$大致$$可以$$分为$$自然$$语言$$理解$（NLU）$和$$自然$$语言$$生成$（NLG）$两$$种$。

NLU$侧重$$于$$如何$$理解$$文本$，$包括$$文本$$分类$、$命名$$实体$$识别$、$指$$代$$消$$歧$、$句法$$分析$、$机器$$阅读$$理解$$等$。

NLG$则$$侧重$$于$$理解$$文本$$后$$如何$$生成$$自然$$文本$，$包括$$自动$$摘要$、$机器翻译$、$问答$$系统$、$对话$$机器人$$等$。$两者$$间$$不$$存在$$有$$明显$$的$$界限$，$如$$机器$$阅读$$理解$$实际$$属于$$问答$$系统$$的$$一个$$子$$领域$。

$大致$$来说$，NLP$可以$$分为$$以下$$几$$个$$领域$：

$文本$$检索$

$多$$用于$$大规模$$数据$$的$$检索$，$典型$$的$$应用$$有$$搜索引擎$。

$机器翻译$

$跨$$语种$$翻译$，$该$$领域$$目前$$已$$较为$$成熟$。$目前$$谷歌$$翻译$$已$$用$$上机$$翻$$技术$。

$文本$$分类$/$情感$$分析$

$本质$$上$$就是$$个$$分类$$问题$。$目前$$也$$较为$$成熟$，$难点$$在于$$多$$标签$$分类$（$即$$一个$$文本$$对应$$多$$个$$标签$，$把$$这些$$标签$$全部$$找到$）$以及$$细粒$$度$$分类$（$二$$极$$情感$$分类$$精度$$很高$，$即$$好$$中$$差$$三类$，$而$$五$$级$$情感$$分类$$精度$$仍然$$较低$，$即$$好$、$较好$、$中$、$较差$、$差$）

$信息$$抽取$

$从$$不规则$$文本$$中$$抽取$$想$$要$$的$$信息$，$包括$$命名$$实体$$识别$、$关系$$抽取$、$事件$$抽取$$等$。$应用$$极广$。

$序列$$标注$

$给$$文本$$中的$$每$$一个$$字$/$词$$打$$上$$相应$$的$$标签$。$是$$大多数$NLP$底层$$技术$$的$$核心$，$如$$分词$、$词性$$标注$、$关键词$$抽取$、$命名$$实体$$识别$、$语义$$角色$$标注$$等等$。$曾$$是$HMM、CRF$的$$天下$，$近年来$$逐步$$稳定$$为$BiLSTM-CRF$体系$。

$文本$$摘要$

$从$$给$$定$$的$$文本$$中$，$聚焦$$到$$最$$核心$$的$$部分$，$自动$$生成$$摘要$。

$问答$$系统$

$接受$$用户$$以$$自然$$语言$$表达$$的$$问题$，$并$$返回$$以$$自然$$语言$$表达$$的$$回答$。$常见$$形式$$为$$检索$$式$、$抽取$$式$$和$$生成$$式$$三$$种$。$近年来$$交互式$$也$$逐渐$$受到$$关注$。$典型$$应用$$有$$智能$$客服$

$对话$$系统$

$与$$问答$$系统$$有$$许多$$相通$$之$$处$，$区别$$在于$$问答$$系统$$旨在$$直接$$给$$出$$精准$$回答$，$回答$$是否$$口语$$化$$不$$在$$主要$$考虑$$范围内$；$而$$对话$$系统$$旨在$$以$$口语$$化$$的$$自然$$语言$$对话$$的$$方式$$解决$$用户$$问题$。$对话$$系统$$目前$$分$$闲聊$$式$$和$$任务$$导向$$型$。$前者$$主要$$应用$$有$siri、$小冰$$等$；$后者$$主要$$应用$$有$$车载$$聊天$$机器人$。（$对话$$系统$$和$$问答$$系统$$应该$$是$$最$$接近$NLP$终极$$目标$$的$$领域$）

$知识$$图谱$

$从$$规则$$或$$不规则$$的$$文本$$中$$提取$$结构$$化$$的$$信息$，$并$$以$$可视化$$的$$形式$$将$$实体$$间$$以$$何种$$方式$$联系$$表现$$出来$。$图谱$$本身$$不$$具有$$应用$$意义$，$建立$$在$$图谱$$基础上$$的$$知识$$检索$、$知识$$推理$、$知识$$发现$$才$$是$$知识$$图谱$$的$$研究$$方向$。

$文本$$聚$$类$

$一个$$古老$$的$$领域$，$但$$现在$$仍$$未$$研究$$透彻$。$从$$大规模$$文本$$数据$$中$$自动$$发现$$规律$。$核心$$在于$$如何$$表示$$文本$$以及$$如何$$度量$$文本$$之间$$的$$距离$。

$基本$$技术$

$分词$：$基本$$算是$$所有$NLP$任务$$中$$最底层$$的$$技术$。$不论$$解决$$什么$$问题$，$分词$$永远$$是$$第一$$步$。

$词性$$标注$：$判断$$文本$$中的$$词$$的$$词性$（$名词$、$动词$、$形容词$$等等$），$一般$$作为$$额外$$特征$$使用$。

$句法$$分析$：$分为$$句法$$结构$$分析$$和$$依存$$句法$$分析$$两$$种$。

$词干$$提取$：$从$$单词$$各种$$前缀$$后缀$$变化$、$时态$$变化$$等$$变化$$中$$还原$$词干$，$常见于$$英文$$文本$$处理$。

$命名$$实体$$识别$：$识别$$并$$抽取$$文本$$中的$$实体$，$一般$$采用$BIO$形式$。

$指$$代$$消$$歧$：$文本$$中的$$代词$，$如$“$他$”“$这个$”$等$，$还原$$成$$其$$所$$指$$实体$。

$关键词$$抽取$：$提取$$文本$$中的$$关键词$，$用以$$表征$$文本$$或$$下游$$应用$。

$词$$向量$$与$$词$$嵌入$：$把$$单词$$映射$$到$$低$$维$$空间$$中$，$并$$保持$$单词$$间$$相互$$关系$$不变$。$是$NLP$深度$$学习$$技术$$的$$基础$。

$文本$$生成$：$给定$$特定$$的$$文本$$输入$，$生成$$所$$需要$$的$$文本$，$主要$$应用于$$文本$$摘要$、$对话$$系统$、$机器翻译$、$问答$$系统$$等$$领域$。

$常用$$算法$

tfidf、BM$25$、TextRank、HMM、CRF、LSI、$主题$$模型$、word2vec、GloVe、LSTM/GRU、CNN、seq2seq、Attention……

$终极$$目标$

$从$$计算机$$诞生$，NLP$这个$$概念$$被$$提出$$伊始$，$人们$$便$$希望$$计算机$$能够$$理解$$人类$$的$$语言$，$于是便$$有$$了$$图灵$$测试$。

$尽管$google I/O$大会$$上$$的$Google
Assistant$宣称$$已经$$通过$$了$$图灵$$测试$，$但$$离$$真正$$理解$$人类$$语言$$仍$$有$$很长$$的$$距离$，$让$$计算机$$能够$$确切$$理解$$人类$$的$$语言$，$并$$自然地$$与$$人$$进行$$交互$$是$NLP$的$$最终$$目标$，$也$$是$$大多数$NLPer$的$$最高$$信仰$。$为此$$各路$$大佬$$挥舞$$手中$$的$$代码$$不断$$挖坑$$填坑$，$攻克$$一个$$又$$一个$$难题$，$推动$NLP$一直$$往$$前$$发展$。

$研究$$难点$

$仍$$有$$很多$$制约$NLP$发展$$的$$因素$，$这些$$因素$$构成$$了$NLP$的$$难点$。$而且$$要命$$的$$是$，$大多数$$是$$基础$$技术$$的$$难点$。

$中文$$分词$，$这$$条$$是$$专门$$针对$$中文$$说$$的$。$众所周知$$汉语$$博大精深$，$老外$$学汉语$$尚且$$虐心$，$更$$别提$$计算机$$了$。$同$$一个$$任务$，$同$$一个$$模型$$在$$英文$$语料$$的$$表现$$上$$一般$$要$$比$$中文$$语料$$好$。$无论是$$基于$$统计$$的$$还是$$基于$$深度$$学习$$的$NLP$方法$，$分词$$都$$是$$第一$$步$。$分词$$表现$$不好$$的话$，$后面$$的$$模型$$最多$$也$$只能$$尽力$$纠偏$

$词义$$消$$歧$：$很多$$单词$$不$$只有$$一个$$意思$，$但$$这个$$在$$今年$BERT$推出$$后$$应该$$不成$$问题$，$可以$$通过$$上下文$$学$$到$$不同$$的$$意思$。$另$$一个$$较难$$的$$是$$指$$代$$消$$歧$，$即$$句子$$中的$$指$$代词$$还原$，$如$“$小明$$受到$$了$$老师$$的$$表扬$，$他$$很$$高兴$”，$这个$“$他$”$是$$指$“$小明$”$还是$$指$“$老师$”。

$二义性$：$有些$$句子$，$往往$$有$$多种$$理解$$方式$，$其中$$以$$两$$种$$理解$$方式$$的$$最为$$常见$，$称$$二义性$。

OOV$问题$：$随着$$词$$嵌入$$技术$$大$$热$$后$，$使用$$预$$训练$$的$$词$$向量$$似乎$$成为$$了$$一个$$主流$。$但$$有$$个$$问题$$就是$，$数据$$中的$$词$$很$$可能$$不$$在$$预$$训$$练$$好$$的$$词表$$里面$，$此$$即$OOV（out
of
vocabulary）。$主流$$方法$$是$$要么$$当做$UNK$处理$，$要么$$生成$$随机$$向量$$或$$零$$向量$$处理$，$当然$$都$$存在$$一定$$的$$弊端$。

$文本$$相似$$度$$计算$：$是的$$你$$没有$$看$$错$。$文本$$相似$$度$$计算$$依旧$$算是$$难点$$之一$。$不过$$与其说$$难点$，$主要$$是$$至今$$没有$$一$$种$$方法$$能够$$从$$理论$$证明$。$主流$$认可$$的$$是$$用$$余弦$$相似$$度$。$但$$看$$论文$$就$$会$$发现$，$除了$$余弦$$相似$$度$$外$，$有人$$用$$欧式$$距离$，$有人$$用$$曼哈顿$$距离$，$有人$$直接$$向量$$內$$积$，$且$$效果$$还$$都$$不错$。

$文本$$生成$$的$$评价$$指标$：$文本$$生成$$的$$评价$$指标$$多$$用$BLEU$或者$ROUGE，$但$$尴尬$$的$$是$，$这$$两$$个$$指标$$都$$是$$基于$n-gram$的$，$也就是说$$会$$判断$$生成$$的$$句子$$与$$标签$$句子$$词$$粒度$$上$$的$$相似$$度$。$然而$$由于$$自然$$语言$$的$$特性$（$同$$一个$$意思$$可以$$有$$多$$种$$不同$$的$$表达$），$会$$出现$$生成$$的$$句子$$尽管$$被$$人为$$判定$$有$$意义$，$在$BLEU$或$ROUGE$上$$仍$$可能会$$得到$$很低$$的$$分数$$的$$情况$。$这$$两$$个$$指标$$用$$在$$机$$翻$$领域$$倒是$$没$$多$$大$$问题$（$本身$$就是$$机$$翻$$的$$评价$$指标$），$但$$用$$在$$文本$$摘要$$和$$对话$$生成$$就$$明显$$不$$合适$$了$。

$社会$$影响$

$由于$$自然$$语言$$作为$$人类$$社会$$信息$$的$$载体$，$使得$NLP$不$$只是$$计算机科学$$的$$专属$。$在$$其他$$领域$，$同样$$存在$$着$$海量$$的$$文本$，NLP$也$$成为$$了$$重要$$支持$$技术$：

$在$$社会科学$$领域$，$关系$$网络$$挖掘$、$社交$$媒体$$计算$、$人文$$计算$$等$，$国内$$一些$$著名$$的$$大学$$实验室$，$如$$清华$$的$$自然语言处理$$与$$社会$$人文$$计算$$实验室$、$哈工大$$的$$社会$$计算$$与$$信息检索$$研究$$中心$$均$$冠有$$社会$$计算$$的$$关键词$。

$在$$金融$$领域$，$单$A$股$$就$$有$$300$$多$$家$$上市公司$，$这些$$公司$$每年$$都$$有$$年报$、$半年报$、$一$$季报$、$三$$季报$$等等$，$加上$$瞬息万变$$的$$金融$$新闻$，$金融界$$的$$文本$$数量$$是$$海量$$的$。$金融$$领域$$的$NLP$公司$$举例$：$李纪$$为$$大佬$$的$$香$$侬$$科技$。

$在$$法律$$领域$，$中国$$裁判$$文书$$网上$$就$$有$$几$$千万$$公开$$的$$裁判$$文书$，$此外$$还有$$丰富$$的$$流程$$数据$、$文献$$数据$、$法律$$条文$$等$，$且$$文本$$相对$$规范$。$该$$领域$$已经$$有$$不少$$公司$$在$$做$，$如$$涂存超$$大佬$$的$$幂律$$智能$；

$在$$医疗$$健康$$领域$，$除了$$影像$$信息$，$还有$$大量$$的$$体检$$数据$、$临床$$数据$、$诊断$$报告$$等$，$同样$$也$$是$NLP$大展$$身手$$的$$地方$。$该$$领域$$的$NLP$公司$：$碳$$云$$智能$。

$在$$教育$$领域$，$智能$$阅卷$、$机器$$阅读$$理解$$等$$都$$可以$$运用$NLP$技术$。$国内$$这$$方面$$目前$$领先者$$应该$$是$$科大$$讯$$飞$$和$$猿$$辅导$。