周明：NLP的进步将如何改变搜索体验？

周明：NLP的进步将如何改变搜索体验？

搜索引擎最重要的2件事：1. 智能程度，指的是理解用户意图和文档，然后快速找出答案，这是智能部分；2. 是自然程度（Naturalness），指的是根据用户输入的搜索请求，把搜索结果很自然地展现给用户，整体表现就是搜索非常流畅。

输入框，用于输入Query。
Context/Query Understanding：搜索引擎首先要理解Context，就是什么人用了什么样的设备、在什么地点输入这样的Query，其次要理解用户的意图，就是用户输入这个Query是想搜什么。基于理解的结果，再到网上去搜索。
主要会搜出几件事：
1. 十个最重要的匹配文档。
2. Super Fresh：新鲜的一些事物或者文档，比如新闻的有关结果搜出来。
3. Instant Answer：就是涉及到天气、股票、交通等垂直领域的信息。
4. Task/Social Pane：Task指的是基于搜索结果的页面上还可能要做新的任务，比如订票；Social Pane是列出相关的微信、微博或LinkedIn的各种信息
5. 广告：最后在以上的各种搜索结果基础上配上合适的广告。
这就是我们的搜索引擎基于一个用户Query到最后输出的搜索结果的一个过程。然后我们要把这些结果体现在一个网页上，再对页面进行整体优化，适应于不同的设备、浏览器和屏幕（比如桌面和手机），页面布局要美观大方。

深度学习对自然语言的影响：
1. 端到端训练（End-end training），不需要人为设定和优选Feature。
2. 语义表示（Embedding）和预训练模型（BERT, GPT-2）：词与词之间的距离，句子与句子之间的距离，搜索引擎中Query对Document匹配程度的计算。
3. Attention
4. 句子的编码方法（RNN/LSTM/GRU/Transformer）：对句子编码之后，就可以做翻译、问答、检索等各种应用。
5. 编码-解码模型（Encoder-Decoder）: 机器翻译，词性标注、分词、句法分析、语义分析、问答、摘要、阅读理解等。
6. 强化学习：在对话系统里效果好；其他任务上还不怎么起作用。

 

问答技术（QA）：
过去的QA都是用的传统的，像手工编辑的基于规则的语义分析，比如说CCG，但由于它存在各种问题；
最近三年以来人们更多使用Encoder-Decoder技术来做语义分析，在分层语义分析、上下文感知的语义分析上都取得了新的突破
搜索引擎上：可信度极高的时候可以使用QA的结果，可信度不高的时候还是要回归到原来的Ten Blue Links上面，这需要拿捏一定的尺度并跟UI很好地结合。

多语言处理能力：
机器翻译其实一直都进展缓慢，近几年由于深度学习技术的发展，神经网络机器翻译相比统计机器翻译已经有了大幅度的进展。机器翻译技术可以分成两类，一种是Rich Resource NMT，也就是双语语料丰富的语言对（比如中文-英文）；另一种叫Low Resource NMT，即缺少足够的双语语料（比如中文-希伯来语）。
目前的机器翻译在Rich Resource 上已经做得非常好了，甚至在某些训练集下已经可以达到或超过人工翻译水平。但是Low Resource现在才刚刚开始，有很多有趣的研究，整体水平还处于比较低级的阶段。
RNN-->Attention-->Transformer

多模态搜索:
比如用户输入一个Query，可以直接输出图像结果，甚至图像中每一个人在知识图谱中对应的ID可以找回来，提示给用户，可以链接知识图谱的描述。其中也用到了人脸识别技术。
比如直接输入图像进行Query，比如手机照相，经过图形识别，得到相关图像和文档。
比如在输入引擎中输入一个Query：大象吃什么？可得到文本搜索的结果以及图像的搜索结果。

机器阅读理解:
对搜索的帮助：1.抽取摘要；2.优化冗长的手册阅读理解；3.加速网站全站搜索（给网站提问题）
一方面在Pre-trained Model上还有很多可以改进的地方，另外还要加强上下文推理的能力，以及更好地融合常识和知识库，增强推理过程。

推荐系统：
1.获取用户画像；2.表达用户画像（显示的特征向量；Embedding）；3.根据知识图谱和朋友圈对推荐内容进行扩展。
<User embedding, item embedding>==>神经网络==>相似度；
未来方向：1.做聪明的推荐，既能找到用户以前喜欢的内容，又能预测用户未来可能喜欢的内容，及时推荐给用户。
2. 推荐系统的可解释性

 

多轮对话问题难点：支持多场景的话，要判断并作出正确的场景切换；（每个场景领域的知识图谱、对话状态图谱不同）

人工智能未来可能有两条路：
1. 一是基于数据驱动的。两件事，一把数据掌握好，二是把算力掌握好。
2. 基于知识以及推理。如何对知识进行建模、如何获取知识、如何推理，整个理论体系并没有完全地形成起来。（翻译上，小语种缺乏预料；多轮对话）

知识图谱和深度学习：
Offline阶段，建知识图谱的时候会用到一些深度学习的方法，比如说信息抽取、分类问题、Relation等。
把知识图谱也做Embedding，即Entity Embedding，可以根据知识图谱的前后左右周围的节点和边，对知识图谱中的每个节点和节点关系，用一个多维语义向量来表达。
那么如果这两个Embedding是一样的，再往上走的时候也可以做Attention，也可以计算Encoder、Decoder。
我不认为目前这个领域取得了多么大的突破，可能还有一些新的探索的余地。

NLP未来几年可落地的方向：
在某些垂直领域落地，可能性大；
1. 垂直领域的知识图谱、专家系统：我认为一旦对某一个垂直领域做成知识图谱和推理，将会产生巨大的落地效果。
2. 文本生成：人来输入关键词，机器快速生成大规模文章，再由编辑或者作家来润色修改确认。我认为这会对整个人类的文档生产过程产生巨大的影响。
人工智能的一个终极目标：多模态多轮问答（比图灵测试更进一步）

多轮事实类问答，多模态对话，需要复杂推理的阅读理解，自然语言交互的专家系统（比如医疗诊断、法律咨询）等等，这些任务的智能水平，离突破图灵测试还需要很长的时间。

语音翻译/同声传译还有几个问题：
第一，针对不同人语音特点的语音识别已经不错了，但是还有很大提升空间；
第二，背景噪声对语音识别影响还是很大；
第三，专业术语、新词影响对语音识别和翻译影响非常大；
第四，凡是用同声传译的场合都是重要场合，它对错误的容忍度是非常低的。

现在因为深度学习的原因，你会做机器翻译，就会做问答，就可能会做搜索，它背后的原理全部都一样。以前就不敢这么说，以前可能某位著名专家可能就是问答做得好，他做了一辈子。