- 2017年,LeCun在“讲述深度学习与人工智能的未来”演讲中提到,AI发展的一大难题就是怎样让机器掌握人类常识,而这是让机器与人类自然互动的关键。要做到这一点,机器需要有一个具备预测能力的内在模型,他提出了一个公式来描述这种AI系统:预测+规划=推理。AI的发展方向是不需人类训练,让机器自主构建这个内在模型。
- 在2017年的采访中,LeCun回答了他近期的研究课题:
1)用GAN研究预测模型,其实本质就是无监督学习;
2)如何理解深度学习目标函数的几何结构。
- 2018年的AAAS研讨会上,LeCun提出了以下几个观点:
1)婴儿在观察世界得到常识的过程中,与当前的增强学习系统相比只需要很少的交互。目前的无模型RL系统如AlphaGo等需要与“世界”进行大量的交互来学习。LeCun用自动驾驶举例,不可能为了让系统学习到不能在悬崖边开车,就在悬崖边进行无数次测试;而对人脑模型,只需要知道一次“不能在悬崖边开车”就够了,所以未来AI的研究方向是如何让机器学习到这样不需要大量交互、而是通过“观察”的模型;
2)只要还没有找到不需要使用梯度来优化参数的好方法,深层学习就不会消失。也就是说,深度不足以构成完整的人工智能;
3)AI研究的下一个热门可能是深度无监督学习、可以进行推理的深度学习系统。无监督学习需要面临的挑战是学习世界的层次化表征,以理解变化的解释因素,学会如何在不完全可预测的世界中进行预测。
- 2018年LeCun在演讲中提到了可微分编程的意义。深度学习不一定需要构建一个固定架构的神经网络并训练,也可以是带有一些参数的程序代码。通过训练来优化这些参数,可以动态改变网络的结构,也就可以适应不同的任务。
- 2019年在ACM的采访中,LeCun提到他曾认为CNN适用于对类别或级别的识别,但在加入Facebook后发现有一个小组将CNN用于人脸识别,事实证明在面部这样细粒度的数据上CNN也能得到很好的效果。
- 在对2020年AI研究方向的预测上,LeCun再次提及了当前AI的缺陷,即训练时需要大量的交互。他认为AI的未来发展方向应该是自监督学习,要做的不是让系统学习样本到标签的分类关系,而是把样本的一部分遮挡,让模型观察不到,并预测观察不到的部分。这种方法在NLP领域特别有效,LeCun希望自监督的方法可以从视频和图像中学习特征。这其中的关键挑战是如何处理不确定性,比如BERT这样的模型无法确定一个句子中缺的是“狗”还是“猫”,但是可以生成一个概率分布。如果能针对图像和视频中的帧也生成这样一个概率分布,只需要很少的训练样本就可以让模型预测视频中的动作。而如果最后生成的是一个模糊的预测结果,差不多是所有可能发生的情况的平均值,那就是一个失败的预测。