计算机视觉还是神经科学,受神经科学启发的计算机识别和注意模型

摘要：

神经科学对计算机视觉有很强的借鉴意义.人的视觉神经系统具有出色的视觉感知能力,可以快速地对海量视觉输入进行压缩和选择,通过层级通路对信息进行高效表示,利用各种复杂的神经机制去适应环境.在几十年的发展历程中,计算机视觉从神经科学中获得了不少灵感和启发,一些计算模型和视觉系统的研究有密切联系,比如手工设计的视觉特征与神经元的感受野,卷积神经网络与初级视皮层和层级通路,显著性模型与视觉搜索实验等.本文的基本思路就是利用神经科学的启发去改进和提出新的计算机视觉模型.全文内容分为两部分,分别对应识别和注意这两种视觉的基本功能.第一部分提出了一种层级递归结构的神经网络,基于该模型对图像分类,场景标注,EEG信号识别等任务进行了研究.这部分的启发来自于神经系统中广泛存在的递归连接.第二部分从层级特征的角度出发对视觉注意力和显著性进行了研究,提出基于中高层特征的注意力和显著性模型.这部分的启发来自于对注意力研究的一些实验结果的总结.本文的创新之处在于从神经科学的研究成果中提取对计算机视觉有用的结构和原理,基于这些结果提出新的计算机模型,并在各种应用任务中取得了优异的效果.创新点主要体现在以下两方面:提出了一种新型的深层递归结构的模型:递归卷积神经网络,并将该模型扩展到多个任务的应用中,均取得了优异的效果.在图像分类中,递归卷积神经网络在使用更少参数的情况下,取得了比其他先进水平模型更好的性能.在场景标注中,多尺度递归卷积神经网络以端对端的方式处理任务,在准确度和速度上均达到了先进水平.我们还将模型从图像处理扩展到一维序列处理,并应用于EEG信号识别,在相关的数据竞赛中取得了优异的成绩.受相关神经科学实验结果的启发,从层级特征的角度对注意力的计算模型进行了研究.利用特征选择方法分析了各种显著性特征对眼动预测的贡献,并基于选择结果用少数特征构建出达到先进水平的显著性模型.基于中高层特征提出了新的注意力和显著性模型,这些模型相对于传统底层模型能更好地预测眼动.本文的结果支持了利用神经科学的启发去改进人工智能模型的可行性.

展开