点击左上方蓝字关注我们
01
Transformer全靠数据堆?那没有数据怎么办?LUT告诉你「冇问题」|AAAI 2021
你是否曾遇到这样的场景:在陌⽣的国家旅游因为听不懂当地⼈说话只能咿咿呀呀、⼿语⽐划、连蒙带猜?因为不懂⼩语种,⼤热悬疑泰剧《禁忌⼥孩》、年度狗⾎韩剧《顶楼》只能煎熬到翌⽇字幕组的熟⾁放送?
语⾳翻译,⼀种语⾔的语⾳到另外⼀种语⾔的语⾳或⽂本的⾃动翻译过程,在如今国际化的社会中有着⼴泛的应⽤场景:在线外语视频、跨国会议、出国旅游、国际贸易。
如何将翻译准确传达成了业界和学术界⼗分关⼼的课题。
端到端语⾳翻译的挑战
传统的语⾳识别系统为级联语⾳翻译模型(cascaded speech translation model),通常先通过⼀个语⾳识别模型(ASR)先识别出⾳频对应的转写⽂本(transcript),再通过机器翻译模型将转写⽂本翻译出⽬标语⾔。
级联语⾳翻译模型
这⾥给⼤家介绍在AAAI 2021上⼀篇语⾳翻译的论⽂:
Listen, Understand and Translate(LUT): Triple Supervision Decouples End-to-end Speech-to-text Translation[3],作者是来⾃中科院⾃动化所的董倩倩、徐波等和字节跳动李磊团队。
本⽂核⼼思想是尽可能的利⽤标注数据中「转写⽂本」的作⽤,并利⽤额外⼤规模单语预训练的语⾔模型来辅助监督,架起从语⾳到⽂本的跨模态转变的桥梁。
论⽂地址:https://arxiv.org/abs/2009.09704
信息来源:新智元
02
Python之父:Python 4.0可能不会来了
不要对 Python 4.0 抱有希望,可能不会有的。——Python 之父 Guido van Rossum
2020 年 1 月 1 日,Python 官方结束了对 Python 2 的维护,意味着 Python 2 完全退休,进入 Python 3 时代。之后,关于 Python 4 的发布排期也成为了社区的热门议题。
去年,Python 之父 Van Rossum 在推特上表示,假如会有 Python 4,从 3 到 4 的版本过渡会更像从 1 到 2 的过渡,而不会像从 2 到 3 的过渡。
但在最近接受 Microsoft Reactor 采访时,Van Rossum 被问及 Python 的未来,以及什么时候会出 Python 4.0。他却表示,可能不会有 Python 4 了。
Van Rossum 回答说:「我和 Python 核心开发团队的成员对 Python 4.0 没什么想法,提不起兴趣,估计至少会一直编号到 3.33。」
在从 Python 2 过渡到 Python 3 时已经被上了一课的 Van Rossum 表示,在内部的严肃场合,谈论 Python 4 是个禁忌,大家只会在饮茶时把 Python 4 当玩笑开。
Van Rossum 说,Python 仍然在努力寻找重获成功的方法。在他看来,Hejlsberg 是一个非常聪明的人,TypeScript 正在做的一些事情,是 Python 未来需要弄清楚的。实际上 TypeScript 也在向 Python 学习,就像 JavaScript 在一些领域从 Python 那里学习一样。
信息来源:机器之心
03
“四大模型”革新NLP技术应用,揭秘百度文心ERNIE最新开源预训练模型
在5月20日结束的2021深度学习开发者峰会WAVE SUMMIT上,百度文心ERNIE开源了四大预训练模型。本文对这四大开源预训练模型进行了详细的技术解读。
2019年以来,NLP预训练模型在技术创新和工业应用上不断取得突破,但当前预训练模型仍有一些痛点困扰着开发者:
仅考虑单一粒度语义建模,缺乏多粒度知识引入,语义理解能力受限;
受限于Transformer结构的建模长度瓶颈,无法处理超长文本;
聚焦语言等单一模态,缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。
5月20日举办的2021深度学习开发者峰会WAVE SUMMIT上,依托飞桨核心框架,百度文心ERNIE最新开源四大预训练模型:多粒度语言知识增强模型ERNIE-Gram、长文本理解模型ERNIE-Doc、融合场景图知识的跨模态理解模型ERNIE-ViL、语言与视觉一体的模型ERNIE-UNIMO。
针对当前预训练模型现存的难点痛点,此次文心ERNIE开源的四大预训练模型不仅在文本语义理解、长文本建模和跨模态理解三大领域取得突破,还拥有广泛的应用场景和前景,进一步助力产业智能化升级。
文心ERNIE开源版地址:
https://github.com/PaddlePaddle/ERNIE
文心ERNIE官网地址:
https://wenxin.baidu.com/
信息来源:飞桨PaddlePaddle
04
我们用Windows官方跑了跑Linux GUI应用程序,不愧是“胶水操作系统”
现在,Windows不仅是最好的Linux发行版,还是最好的Linux桌面了。原来是Windows官方的Linux子系统(WSL),终于支持Linux GUI了!
“最棒的Linux桌面”
这个名为WSLg的功能,目前相关代码已经开源,geek们又有的玩了。具体到显示服务上,WSLg同时支持X11和Wayland两种协议,能通过微软内置的远程桌面进行连接。据微软表示,相比之前的第三方实现,WSLg更加稳定方便。(毕竟是官方钦定)
WSLg基本上是以Wayland为基础开发的一个Linux桌面,并通过托管XWayland服务器,来支持X11应用程序。
微软选择了Weston,来作为WSLg的核心,即Wayland合成器的参考实现,包括一个重度扩展的RDP后端、一个RAIL/VAIL shell和一个X Window管理器。换而言之,如果一个Linux程序能在Linux的Weston合成器中正常工作,那它也能在WSLg中正常工作。
而在今年早些时候,微软还在WSL中加入了机器学习的API DirectML。
加上现在GPU和Linux GUI应用程序也都已经支持,在WSL2上能直接运行英伟达CUDA加速功能,可以加速cuDNN、cuBLAS、TensorRT等CUDA-X库。
这意味着开发者能直接在WSL上训练神经网络,不必再单独安装一个Linux系统了!
WSLg的开发人员表示,他们会继续完善这个项目,改进用户体验。
信息来源:量子位
05
Arm v9的牙膏挤出来了,超大核机器学习性能x2,小核4年来终于更新
Arm v9架构,可以说是10年以来最大的升级。
在上月发布服务器端的Neoverse V1与N2平台之后,消费端的首批CPU终于亮相。包括Cortex-X2超大核、Cortex-A710大核以及Cortex-A510小核,分别取代X1、A78和A55。
值得一提的是,小核系列上一次更新还是在2017年。
超大核X2和小核A510已经完全基于64位指令集,只有A710还兼容32位。Arm说这是专为中国移动端市场保留的,因为只有中国还保留着大量32位的手机App。
Arm要在2023年前彻底抛弃32位,App开发商们,再不升级就要被淘汰了。
大中小核完整方案
去年开始,Arm让A系列继续保持PPA (性能、功耗、面积)的设计理念。大核A700系列将优先用于持续的主力多核负载,小核A500系列负责效率优先的轻型和后台任务。而超大核X系列被允许在尺寸和功率上继续增长,以达到更高的单核性能和应对突发的工作负载。
超大核X2:机器学习性能翻倍
X2与X1相比,机器学习性能则直接翻倍,在整数运算上性能也提高了16%。
信息来源:量子位
飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件,持续开源核心能力,为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台,针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。
END