何晖光：“深度学习类脑吗？”--- 基于视觉信息编解码的深度学习类脑机制研究 | VALSE2017之十四

点击上方“深度学习大讲堂”可订阅哦！

编者按：深度学习中最经典的卷积神经网络，其命名的初衷，即是向人脑中的神经网络致敬。而深度学习的提出，在很大程度上，也是受到了大脑的启发。然而，深度学习是否类脑？目前并没有统一的认识。对深度学习的类脑机制研究将有助于加深理解深度学习。

本文中，来自中科院自动化所的何晖光研究员，将从视觉信息编解码的角度出发，建立人类视觉系统与外界视觉刺激信息之间的映射模型，探索大脑视觉信息处理的过程和机理，希望利用机器智能实现对人类视觉感知功能的模拟，从而提升计算机处理视觉信息的能力。大讲堂特别在文末提供文中提及所有文章以及模型代码的下载链接。

深度学习是否类脑，目前并没有统一的认识。我将从视觉信息编解码的角度来介绍我们关于深度学习和类脑的思考。

我们通过fMRI信号，建立人脑响应与外界视觉刺激信息之间的映射模型，探索大脑视觉信息处理的过程和机理。与此同时，我们还将研究深度学习所得到的视觉特征与大脑视觉信息处理的关系，理解各层特征在大脑皮层的神经表达，并利用深度学习建立视觉信息的神经编解码模型。最后介绍我们利用多视图贝叶斯深度学习从fMRI信号重构图像的工作。我的汇报包括以下几个方面的内容：

• 研究背景

• 国内外研究现状

• 研究内容和研究结果

• 总结及展望

研究背景

众所周知，视觉是至关重要的，人类从外界接收的各种信息中，约80%是通过视觉系统获得的。因此，视觉研究一直是热点问题，近年来有关视觉的报道如雨后春笋般涌现。

计算机视觉 VS 人类视觉

近年来，计算机视觉的研究取得了极大的进展，在目标检测、分类、识别等各领域已有很多优秀的工作，但是它依然难以处理复杂背景下的物体识别。相对而言，人类视觉具有高效、鲁棒、抗噪等特点。因此，一个自然而然的想法就是：

——如何将人类视觉特性引入计算机视觉模型呢？

——我们考虑从视觉信息编解码的角度来尝试回答这个问题。

基于fMRI技术研究人脑视觉编解码机制

最近fMRI（功能性磁共振成像）技术发展迅速，它可以无损地检测大脑活动。我简单介绍一下fMRI的成像原理：

人类大脑接受外界刺激会引起神经元的兴奋，导致血液内含氧血红蛋白的增多，通过MRI（核磁共振成像）可以检测出这样的信号，从而检测出兴奋的区域，比如说话时语言中枢会比较兴奋，当接受视觉刺激时，视觉中枢会比较兴奋。

这是fMRI的一个实验步骤：人躺在共振成像的设备中，通过投影设备给他一些视觉刺激和任务，可以得到分别在静息和受刺激时的大脑反应，通过二者状态的差值能够检测出受刺激时相关的大脑反应区。