近年来LeCun对AI发展方向的思考（2020.9.6更）

• 2017年，LeCun在“讲述深度学习与人工智能的未来”演讲中提到，AI发展的一大难题就是怎样让机器掌握人类常识，而这是让机器与人类自然互动的关键。要做到这一点，机器需要有一个具备预测能力的内在模型，他提出了一个公式来描述这种AI系统：预测+规划=推理。AI的发展方向是不需人类训练，让机器自主构建这个内在模型。

 

• 在2017年的采访中，LeCun回答了他近期的研究课题：

1）用GAN研究预测模型，其实本质就是无监督学习；

2）如何理解深度学习目标函数的几何结构。

 

• 2018年的AAAS研讨会上，LeCun提出了以下几个观点：

1）婴儿在观察世界得到常识的过程中，与当前的增强学习系统相比只需要很少的交互。目前的无模型RL系统如AlphaGo等需要与“世界”进行大量的交互来学习。LeCun用自动驾驶举例，不可能为了让系统学习到不能在悬崖边开车，就在悬崖边进行无数次测试；而对人脑模型，只需要知道一次“不能在悬崖边开车”就够了，所以未来AI的研究方向是如何让机器学习到这样不需要大量交互、而是通过“观察”的模型；

2）只要还没有找到不需要使用梯度来优化参数的好方法，深层学习就不会消失。也就是说，深度不足以构成完整的人工智能；

3）AI研究的下一个热门可能是深度无监督学习、可以进行推理的深度学习系统。无监督学习需要面临的挑战是学习世界的层次化表征，以理解变化的解释因素，学会如何在不完全可预测的世界中进行预测。

 

• 2018年LeCun在演讲中提到了可微分编程的意义。深度学习不一定需要构建一个固定架构的神经网络并训练，也可以是带有一些参数的程序代码。通过训练来优化这些参数，可以动态改变网络的结构，也就可以适应不同的任务。

 

• 2019年在ACM的采访中，LeCun提到他曾认为CNN适用于对类别或级别的识别，但在加入Facebook后发现有一个小组将CNN用于人脸识别，事实证明在面部这样细粒度的数据上CNN也能得到很好的效果。

 

• 在对2020年AI研究方向的预测上，LeCun再次提及了当前AI的缺陷，即训练时需要大量的交互。他认为AI的未来发展方向应该是自监督学习，要做的不是让系统学习样本到标签的分类关系，而是把样本的一部分遮挡，让模型观察不到，并预测观察不到的部分。这种方法在NLP领域特别有效，LeCun希望自监督的方法可以从视频和图像中学习特征。这其中的关键挑战是如何处理不确定性，比如BERT这样的模型无法确定一个句子中缺的是“狗”还是“猫”，但是可以生成一个概率分布。如果能针对图像和视频中的帧也生成这样一个概率分布，只需要很少的训练样本就可以让模型预测视频中的动作。而如果最后生成的是一个模糊的预测结果，差不多是所有可能发生的情况的平均值，那就是一个失败的预测。