Hinton最新演讲透露下一代神经网络模型的构想 | SIGIR 2020

来源：北京智源人工智能研究院

7月27日上午，第43届国际信息检索大会（SIGIR 2020）以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代（The Next Generation of Neural Networks）”的主题报告。

智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

 

报告中，Hinton教授指出：人类大脑有10^14个神经元连接，而生命的长度只有10^9秒，因此人类是无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助，受此启发，构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

 

他首先回顾了无监督神经网络的发展历史，结合从LLE、LRE到t-SNE等表达学习模型的进化历程，指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失（Reconstructive Loss），而忽略了对数据间关联关系的捕捉。基于此，他提出了下一代神经网络模型的构想，提出利用对比损失函数（Contrastive Loss）建模样本间的局部关系、增强数据间表达的一致性的解决思路。

 

最后，他还展示了上述构想的一种具体实现方案SimCLR，应用此方案能够显著提升下游图像分类任务的效果（如下图所示）。

 

作为 CCF 推荐的 A 类国际学术会议，SIGIR 历来都是互联网业内关注的焦点，会议覆盖了信息检索领域相关的各类前沿成果，包括基础理论、算法应用以及评估分析。接下来，本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”