An Optimization-Based Approach to Understanding Sensory Systems 解读

文章 An Optimization-Based Approach to Understanding Sensory Systems
来自《The Cognitive Neurosciences》
作者：Daniel Yamins

主要讲了人脑腹侧视觉流（Ventral Visual Pathway）的过程以及如何采用量化的网络模型来模拟这一过程

作者认为腹侧视觉流是产生强鲁邦的对象识别的重要路径[1， 4-7]，他总结了腹侧视觉流的两个特征：

1. 层次性，视觉信息以级联的方式从低级皮质区域传递到高级皮质区域
2. retinotopic，意思是由相同的局部接受野执行结构上相似的功能，随着层次性的推进空间的分辨率逐渐降低（我对此存疑）

有一个现象，两张人像可能在像素空间上非常接近，但是人却能非常肯定的认为这就是两个人，这说明视觉系统将原始输入空间中高度相近的特征维度在输出空间上进行分离（untangle）。
图c中，LN代表Linar-Nonlinear。文章中解释了为什么需要级联。首先，总体的“刺激-神经元”的变换本质上是将高维空间中“缠”在一起，这种“纠缠”是非线性的，对此的逆变换也应该是非线性的。然后简单的单层操作例如加权和，带阈值的非线性以及局部归一化是有局限的。
LN的形式为
$$T_i=N_i\circ L_i$$
$L_i$是线性变换，作者认为线性变化的原因是神经元的操作非常适合用线性变换来表示，例如加和所有输入树突的突触强度。作者认为线性变化的过程代表从皮质下结构到V1阶段的过程
常见的线性过程：

• 维度扩增阶段——线性过程
• 降维聚合阶段——池化过程
• range-centering component?——归一化过程
  作者认为HCNN（Hierarchical CNN）的每一层代表人脑视觉系统的不同阶段，例如视网膜神经节（retinal ganglion）, 外侧膝状体（lateral geniculate nu），V1, V2, V4, PIT（Posterior Inferior temporal），AIT(Anterior Inferior Temporal)等

上图(a)中更加完整的过程如下所示
$$stimulus...\stackrel{T_1}{\to }{\mathbf{n}}_1\stackrel{T_2}{\to }{\mathbf{n}}_2...\stackrel{T_{top}}{\to }{\mathbf{n}}_{top}\stackrel{D}{\to }behavior$$

D表示Decoder,可以有多个Decoder，也就是如下图

作者在最后讨论了级联的模型和香农的信息论的关系。因为按照信息论的观点，随着级联的步数增加，模型只会损失越来越多的信息。但是作者认为人脑进化的目的是为了提取“行为相关的信息”，例如通过人脸识别这个人的身份，而不是关注于像素尺度的信息（所以他的意思还是HCNN很有道理）

量化表示HCNN和腹侧视觉流的关系

Yamin等人做了一些实验，证明HCNN预测腹侧视觉流的神经元反应的能力和它执行一些具有挑战性的对象识别的能力呈现强相关，如下图所示，图中的蓝色点表示简单的三层HCNN模型，它们或者是用随机的权重或者针对分类任务或者预测IT区域相应做了优化。黑点代表已有的传统模型。红点代表深度HCNN。Category Ideal Observer?

这张图描述了不同模型的不同位置预测腹侧视觉皮质的特定区域的能力，从（a）中可以看到HCNN顶层最完美的预测了猕猴IT的相应。从(b)中可以看到HCNN的第五层预测了V4的相应。从©中可以看到在V1-V3的过程中HCNN的最初几层预测的比较好