软件开发模型_NeurIPS：英特尔获软件开发自动化、序列模型等进展

2019 年 12 月8 日-14 日，国际人工智能顶会NeurIPS 2019(全球最大的人工智能和机器学习会议之一)于加拿大温哥华举行。除了英特尔，亮相此次盛会的还有谷歌、Facebook、苹果、优步、阿里巴巴、百度等科技巨头。

英特尔研究院院长Rich Uhlig博士在一篇博客文章中写道：“英特尔正在快速推进和扩展神经网络技术，从解决记忆方面的挑战到研究新的自适应学习技术，以应对日益复杂和动态的工作。我们在NeurIPS上展示的发展会有助于减少内存占用量，更好地衡量神经网络处理信息的方式，并重塑机器实时学习的方式，为深度学习开了一扇新的门，这些应用将改变从制造到医疗保健的方方面面。”

图丨Rich Uhlig

软件开发自动化

英特尔计划重点研究的领域之一是利用机器学习实现软件开发自动化。在一篇题为“A Zero-Positive Learning Approach for Diagnostic Software Performance Regregation”的论文中，一个来自英特尔实验室、麻省理工学院和德克萨斯A&M大学的团队提出了AutoPerf，一种在高性能计算代码中自动执行回归测试的方法。论文作者演示了AutoPerf可以检测并行编程中发现的一些最复杂的性能错误。

AutoPerf的秘诀在于ZPL，是一种最初为异常检测开发的半监督机器学习技术。偏离给定软件的预期行为的异常情况被视为性能缺陷，系统使用该异常行为来训练自动编码器。与此前最先进的方法相比，它能够准确诊断更多的性能问题，包括专家程序员遗漏的问题。

目标条件模仿学习

机器人算法能从人类演示中快速而轻松地学习吗？英特尔的研究人员，以及来自加州大学伯克利分校和初创公司Covariant.ai的贡献者，在一篇题为“Goal-Conditioned Imitation Learning”的论文中宣布：可以。

该团队提出了一个新颖的模型--goalGAIL，它能够学得比专家演示者更好，甚至可以在有非专家行为的情况下执行操作。他们认为，goalGAIL可以拓宽机器人在工业环境中的应用，在这些环境中，算法可能需要快速适应新的部件，以及在个性化机器人中，模型必须通过演示来适应个人偏好。

为了观察结果能够与预定义的目标完全匹配，要对AI模型进行训练。基于自我监督学习方法，机器人可按需达到任何先前观察到的状态。

序列模型的新方法

英特尔的一组研究人员将讨论一种新的机器学习方法，即对序列数据或顺序重要的数据进行机器学习。出自卡内基梅隆大学和英特尔的“深度平衡模型”(Deep Balance Models)的作者们表示，他们已经成功地用单层架构取代了流行的多层架构，这种架构可以在语言基准测试中达到最先进的性能，同时将内存占用减少88%。

4-bit训练

卷积网络(一种最常用于分析视觉图像的AI模型)需要大量的计算资源、内存带宽和存储容量来摄取和处理数据。加速分析的一种方法是量化，但是，恢复因此而丢失的准确性通常需要完整的数据集和耗时的微调。鉴于此，英特尔团队与以色列Technion的一位研究人员合作开发了一种量化方法，这种方法既不需要微调，也不需要使用大型语料库。这种方法称作4-bit训练，并提出了三种互补的方法：整数量化的分析限幅、每通道比特分配和偏差校正，以最小化量化误差。

这使得它能够在一系列卷积模型中实现仅比最新基线低几个百分点的精确度，该团队在一篇题为“Post Training 4-bit Quantiization of Convolutional Networks for Rapid-Deployment”的合著论文中报告了这一点。

理解神经网络

人工智能和机器学习方面的可理解性是英特尔深入研究的一个领域，英特尔的研究人员相信，与MIT科学家一起，他们已经开发出更好地理解至少一类模型的方法：语音模型。在NeurIPS 2019接受的一篇论文(“Untangling in Invariant Speech Recognition”)中，他们解释了是如何使用最近开发的统计机械理论的，该理论将AI模型表示的属性与类的可分性联系起来，以探测数据如何在模型中解开。根据该团队的说法，这种统计方法使他们能够观察到，特定于说话者的滋扰变化被模型的层次结构丢弃，而与任务相关的属性，如单词和音素(在特定语言中区分一个单词和另一个单词的声音单位)在后面的层次中没有纠缠在一起。研究人员写道：“他们都学会了丢弃讨厌的声学变化，并表现出对任务相关信息的理解力。”

综上所述，这些发现揭示了深度听觉模型如何处理依赖时间的输入信号，以实现不变的语音识别，并展示了不同的概念是如何通过模型的各层出现的。

英特尔实验室推出用于量子计算的低温控制芯片

值得一提的是，除了NeurIPS上发表的进展外，英特尔实验室最近还推出了首款名为“Horse Ridge”的低温控制芯片。它有效地降低了量子控制工程的复杂度，使量子计算在商业上更具可行性。英特尔实验室和TU Delft的研究合作伙伴QuTech现在可以使用Horse Ridge来控制多个量子比特(qubit)，并允许更大的系统扩展，这是量子实用化道路上的一个重要里程碑。

量子计算的挑战在于，它现在只有在接近冰点的温度下才能真正工作。英特尔正试图改变这一点。采用英特尔22nm FinFET技术制造的Horse Ridge简化了操作量子系统的控制电子设备。英特尔表示，这些控制芯片的内部制造将极大提高公司设计、测试和优化商业上可行的量子计算机的能力。

One More Thing：

百度和阿里巴巴在NeurIPS做了什么？

百度举办了自然语言处理专题研讨会，介绍了百度在这一领域的长期积累与全新突破。基于具有完全自主知识产权的飞桨平台，百度自然语言处理在语义计算、阅读理解、多轮对话、机器翻译、开放平台与数据等方向均取得了突破性进展，并进行了大规模产业化应用。百度在NeurIPS 2019: Learn to Move 强化学习赛事中百度蝉联冠军，并受邀在Deep RL workshop中进行专题报告。本次比赛的难度非常大，在参赛的近 300 支队伍中，仅有 3 支队伍完成了最后挑战。百度基于飞桨的强化学习框架 PARL 不仅成功完成挑战，还大幅领先第二名(1490 vs 1346)。

蚂蚁金服与阿里巴巴共同举办了一场专家云集的主题workshop，其中蚂蚁金服分享了金融知识图谱在蚂蚁金服业务的实践与应用。目前金融知识图谱平台已经广泛应用在蚂蚁内部业务场景以及合作伙伴的微贷、保险智能理赔和智能理财等业务领域中。不仅如此,环保知识图谱也在垃圾分类公益项目中发挥着重要作用。支付宝展出了基于图像识别技术的智能垃圾分类小程序和智能回收箱视频，现场通过手机拍照即可轻松识别垃圾物品和对应的垃圾类别。