“深度学习已死,可微编程万岁!”LeCun老师为何又语出惊人?

转载 2018年01月06日 00:00:00
夏乙 编译整理
量子位 出品 | 公众号 QbitAI

Deep Learning est mort. Vive Differentiable Programming!

这句英法混合的话,翻译成汉语,就是“深度学习已死,可微分编程万岁”。说这话的,正是深度学习三巨头之一:Yann LeCun。

纳尼?

无论是上个月Ali Rahimi的“炼金术说”,还是前些天Gary Marcus对深度学习的质疑,LeCun老师都挺身而出强硬回怼,今天何出此言?

嗯……LeCun在Facebook上的文章里,宣称深度学习已死之前还有一句,说“深度学习作为一个流行词活得太久了,已经没什么用了。”

只是换个说法么?“可微分编程”又是什么?

LeCun承认,“可微分编程”只不过是对现代深度学习技术体系的重新命名,和当年给神经网络里有两个以上隐藏层的变体起名叫“深度学习”差不多。

他还说:

但是重点是,人们现在正通过组装参数化功能模块网络,并用某种基于梯度的优化方法训练它们,来构建一类新软件。

越来越多的人正在以一种依赖于数据的方式(用循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。除了参数化、自动微分和可训练/可优化的特性之外,这非常像一个普通程序。

动态网络已经变得越来越流行(尤其是对于NLP来说),这要归功于PyTorch和Chainer等深度学习框架(注意:以前的深度学习框架Lush,可以处理一种名叫Graph Transformer Networks的特殊动态网络,用于文本识别)。

现在,人们正在积极研究命令式可微分编程语言的编译器,对开发基于学习的AI来说,这是一种非常激动人心的途径。

除了认为深度学习应该改名叫可微分编程之外,LeCun还说他决定将自己最近特别推崇的“预测性学习”,改名叫做“Imputative Learning”,我们暂时叫“归责学习”好了。

他最后还发了个小预告,说稍后会谈更多,不过量子位从早上等到中午,也还没等到……

只好一起持续关注他的Facebook啦~

https://www.facebook.com/yann.lecun

对于LeCun的新想法,国外论坛上不少人都嫌弃这个新名字太长太难叫,不过也有人说“编程”的确比“学习”贴切。

你怎么看呢?

加入社群

量子位AI社群13群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot5入群;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进群请加小助手微信号qbitbot5,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态


C++可微编程:寻找一种最佳的图像抖动模式

摘要:本文作者介绍了梯度下降算法,通过可微编程实现寻找一种最佳的图像抖动模式,详细介绍了其中的五个步骤,并通过结果展示了图像效果。读懂本文,需要有一定的高等数学知识,以下是译文。 实现这篇文章的...
  • adolph_yang
  • adolph_yang
  • 2018年01月06日 23:14
  • 137

20个令人惊叹的深度学习应用

从计算机视觉到自然语言处理,在过去的几年里,深度学习技术被应用到了数以百计的实际问题中。诸多案例也已经证明,深度学习能让工作比之前做得更好。 今天,量子位为大家收集了20个深度学习方面的优秀应用——...
  • YiLiang_
  • YiLiang_
  • 2017年05月07日 19:45
  • 3804

算法训练 拦截导弹

问题描述   某国为了防御敌国的导弹袭击,发展出一种导弹拦截系统。但是这种导弹拦截系统有一个缺陷:虽然它的第一发炮弹能够到达任意的高度,但是以后每一发炮弹都不能高于前一发的高度。某天,雷达捕捉到敌国的...
  • Liukx940818
  • Liukx940818
  • 2015年03月07日 08:59
  • 1631

导弹系统

整理写过的OJ,造福(坑害)下一届
  • avivadepp
  • avivadepp
  • 2016年05月11日 18:17
  • 396

深度学习——整理

1、什么是随机梯度下降? 梯度下降有三种:stochastic  gradient descent(SGD)、普通的GD以及min-batch GD。 其中caffe里最常用的就是min-batch ...
  • h_jlwg6688
  • h_jlwg6688
  • 2017年07月20日 18:01
  • 442

深度学习框架Keras使用心得

最近几个月为了写小论文,题目是关于用深度学习做人脸检索的,所以需要选择一款合适的深度学习框架,caffe我学完以后感觉使用不是很方便,之后有人向我推荐了Keras,其简单的风格吸引了我,之后的四个月我...
  • xjcvip007
  • xjcvip007
  • 2016年10月12日 22:04
  • 12972

Yann LeCun:深度学习已死,可微分编程万岁!

-欢迎加入AI技术专家社群>>- 日薪5K-10K招兼职AI讲师>>昨天,Yann LeCun在Facebook个人主页上写到:深度学习已死,可微分编程万岁!  这让不少人大吃一惊,莫非我们一直坚信的...
  • CygqjBABx875u
  • CygqjBABx875u
  • 2018年01月07日 00:00
  • 77

大神Yann LeCun亲授:如何自学深度学习技术并少走弯路本

转载https://www.leiphone.com/news/201611/cWf2B23wdy6XLa21.html 大神Yann LeCun亲授:如何自学深度学习技术并少走弯路本文作者...
  • yang9649
  • yang9649
  • 2017年06月14日 10:33
  • 380

2017深度学习中英文版

  • 2017年12月05日 14:40
  • 82.21MB
  • 下载

深度学习框架Keras使用心得

 参考:http://blog.csdn.net/xjcvip007/article/details/52801216 本文由浅入深聊一聊我在这个过程中遇到的一些问题: 1、Kera...
  • huixingshao
  • huixingshao
  • 2017年05月09日 17:29
  • 955
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:“深度学习已死,可微编程万岁!”LeCun老师为何又语出惊人?
举报原因:
原因补充:

(最多只允许输入30个字)