微软亚洲研究院(MSRA)副院长周明:未来5-10年,NLP将走向成熟

近日,微软亚洲研究院(MSRA)副院长周明在「自然语言处理前沿技术分享会」上,与大家讲解了自然语言处理(NLP)的最新进展,以及未来的研究方向,以下内容由CSDN记者根据周明博士的演讲内容编写,略有删减。
周明博士于1999年加入微软亚洲研究院,不久开始负责自然语言研究组。近年来,周明博士领导研究团队与微软产品组合作开发了微软小冰(中国)、Rinna(日本)、Zo(美国)等聊天机器人系统。周明博士发表了120余篇重要会议和期刊论文(包括50篇以上的ACL文章),拥有国际发明专利40余项。

MSRA在机器翻译、中国文化、聊天机器人和阅读理解的最新进展

机器翻译

今年微软首先在语音翻译上全面采用了神经网络机器翻译,并拓展了新的翻译功能,我们叫做Microsoft Translator Live Feature(现场翻译功能),在演讲和开会时,实时自动在手机端或桌面端,把演讲者的话翻译成多种语言。

图片描述

图1 神经网络机器翻译

图1概括了神经网络机器翻译,简要的说,就是对源语言的句子进行编码,一般都是用长短时记忆(LSTM)进行编码。编码的结果就是有很多隐节点,每个隐节点代表从句首到当前词汇为止,与句子的语义信息。基于这些隐节点,通过一个注意力的模型来体现不同隐节点对于翻译目标词的作用。通过这样的一个模式对目标语言可以逐词进行生成,直到生成句尾。中间在某一阶段可能会有多个翻译,我们会保留最佳的翻译,从左到右持续。

这里最重要的技术是对于源语言的编码,还有体现不同词汇翻译的,不同作用的注意力模型。我们又持续做了一些工作,引入了语言知识。因为在编码的时候是仅把源语言和目标语言看成字符串,没有体会内在的词汇和词汇之间的修饰关系。我们把句法知识引入到神经网络编码、解码之中,这是传统的长短时记忆LSTM,这是模型,我们引入了句法,得到了更佳的翻译,这使大家看到的指标有了很大程度的提升。

图片描述

图2 将知识图谱纳入传统的神经网络机器翻译中

此外,我们还考虑到在很多领域是有知识图谱的,我们想把知识图谱纳入到传统的神经网络机器翻译当中,来规划语言理解的过程。我们的一个假设就是虽然大家的语言可能不一样,但是体现在知识图谱的领域上可能是一致的,就用知识图谱增强编码、解码。具体来讲,就是对于输入句子,先映射到知识图谱,然后再基于知识图谱增强解码过程,使得译文得到进一步改善。

以上两个工作都发表在本领域最重要的会议ACL上,得到很多学者的好评。

图片描述

图3 Microsoft Translator Live Feature工作场景

中国文化

大家会说,中国文化和人工智能有什么关系?中国文化最有代表性的是对联、诗歌、猜谜语等等,它怎么能够用人工智能体现呢?好多人一想这件事就觉得不靠谱,没法做。但是我们微软亚洲研究院就

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
锈伯特Rust 原生基于 Transformer 的模型实现。Hugging Face 的Transformers 库的端口,使用tch-rs crate 和来自rust-tokenizers 的预处理。支持多线程标记化和 GPU 推理。该存储库公开了模型基础架构、特定于任务的头(见下文)和随时可用的管道。本文档末尾提供了基准测试。目前实现了以下模型: 序列分类 代币分类 问答 文本生成 总结 翻译 蒙面LM 蒸馏器 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 移动BERT :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 伯特 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 罗伯塔 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: GPT :check_mark_button: GPT2 :check_mark_button: 捷运 :check_mark_button: :check_mark_button: :check_mark_button: 玛丽安 :check_mark_button: 伊莱克特拉 :check_mark_button: :check_mark_button: 艾伯特 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: T5 :check_mark_button: :check_mark_button: :check_mark_button: XLNet :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 改良剂 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 先知网 :check_mark_button: :check_mark_button: 长形 :check_mark_button: :check_mark_button: :check_mark_button: :check_mark_button: 即用型管道基于 Hugging Face 的管道,准备好使用的端到端 NLP 管道可作为此板条箱的一部分。目前提供以下功能:免责声明此存储库的贡献者不对此处提议的预训练系统的第 3 方使用产生的任何生成负责。1. 问答从给定的问题和上下文中提取问题答案。在 SQuAD(斯坦
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值