Topographic ICA as a Model of Natural Image Statistics(作为自然图像统计模型的拓扑独立成分分析)

 其实topographic independent component analysis 早在1999年由ICA的发明人等人就提出了，所以不算是个新技术，ICA是在1982年首先在一个神经生理学的背景下提出的，而且在1980年前后大家都在忙着研究BP，所以对ICA研究的人都不多，在1990年前后才大量的爆发关于ICA的研究，现在ICA已经较为成熟和完善了。ICA的开始是假设成分间互相独立，但是却有些的确不独立，所以还是需要对这些成分进行分析，现在发现这个是因为在eccv 12年中看到有人用这个，而且还很好，然后接着发现 在07年的《tiled-convolutional-neural-networks》中，作者将TICA整合到CNN中，并获得了很好的效果。遂想将其用在自己的实验中。（下文如有翻译错误，还请及时告知，让我能够更正自己的错误，谢谢）

                           Topographic ICA as a Model of Natural Image Statistics

  摘要：ICA，也等同于线性稀疏编码，近年来已经被用作自然图像统计和V1感受野的模型。Olshausen和FIeld通过使用最大化线性表征中系数的稀疏性的原则从自然图像中提取特征。这使得具有空间和频率上能够同时定位特性的定向线性滤波器的产生，因此这类似与Gabor函数和V1简单细胞感受野。在本文中，我们通过对模型的扩展去解释V1拓扑的产生。这通过对基向量进行排序使得有着很强的高阶相关的向量能够相互靠近来完成的。这是拓扑结构中的一个新原理，也许对于自然图像统计来说会比那些基于欧式距离的传统的拓扑排序更相关。例如，这个拓扑排序能够使得复杂细胞特性能够同时出现：那些邻近的动作像复杂细胞（此句觉得不妥）。

1 引言

    信号处理中一个基本的方法是设计一个关于观测信号的统计生成模型。这样一个方法同样对初级意识区域的神经元特性的建模是有用的。Olshausen和FIeld通过建立一个简单的线性生成模型对视觉数据进行建模，并发现对潜在的图像成分的稀疏（或是超高斯）进行最大化已经足够去解释类-Gabor过滤器的出现，这些类-Gabor过滤器相似于哺乳动物的初级视觉皮层（V1）中简单细胞的感受野。在这里的最大化稀疏性等同于最大化图像成分的独立性。

    我们发现这同样的原理可以被用来很好的解释拓扑和复杂细胞的特性，通过最大化局部能量而不是单一基向量的系数的稀疏性来实现的。这个想法是从一个假定有着基向量的拓扑图像结构的生成模型中得到的灵感，而且这个模型中相互靠近的基向量的系数有着依赖方差形式的高阶相关性（然而系数是线性不相关的）。因此我们得到一个拓扑映射，在这其中拓扑表征中的成分的距离是成分依赖的函数形式，而且，邻近的部分和那些复杂细胞一样有着不变性的特性。最后，我们会在自然图像数据上通过实验展示我们提出的一个学习规则的实用性，如何去对模型进行估计。

2 图像数据的ICA

       这里，我们首先介绍一个基本的模型，假定一个静态灰度化图像I（x,y），他是由许多特征或基函数ai（x,y）的线性组合得到的：

                              （公式1）

  这里si是随机系数，在每个图像I（x,y）中都是不同的。这里关键的假设是si（个人认为应该是ai（x,y）才对，求大神解惑，按照下文所说的确是si没错，但是还是想不明白，不过实在想不明白，知道ICA的原理，差不多也不影响后面的理解）是非高斯的，而且是互相独立的。这样的分解就叫做独立成分分析（ICA），或者换个观点来说，稀疏编码。

     在给定足够数量的图像或者说图像碎片I（x,y）的观测值的情况下，估算等式（1）中的模型需要对于所有的i和（x,y）的情况下决定si，ai（x，y）的值。我们假定基础的情况下，ai(x,y)来自于一个可逆的线性系统。然后我们就能对这个系统求逆：

                                        （公式2）

这里wi表示逆过滤器，而且表示点积。wi（x,y）可以呗认为是模型简单细胞的感受野，而且si是当输入是一个给定的图像碎片I（x，y）的激活值，Olshausen和FIeld认为当模型的输入数据是由自然场景的碎片组成的时候，所获得的过滤器wi（x,y）有着V1中简单细胞的三个基本特性：局部的，定向的，滤波的。Van Hateren和van der Schaaf通过将获得的过滤器wi(x,y)与那些通过短尾猴皮层的单一细胞记录进行定量的比较，发现了在大部分参数情况下的一个很好的匹配。

3 拓扑ICA

    在经典的ICA中，独立成分si没有特别的顺序，或者其他的关系。这独立成分的内部固有的顺序的缺失与我们假定他们是完全的统计独立是有关系的。当在自然图像统计上使用ICA进行建模时，会清晰的发现在很多地方是违反独立假设的前提的。例如，很容易的发现所估计的独立成分对之间是有着清晰的依赖（非独立）关系。

    在这部分中，我们通过使用一个生成模型来定义拓扑ICA，这个模型是普通ICA模型的分层的版本。这个想法是放宽等式（1）中成分的独立性的假设，这样就能使得拓扑中相互靠近的成分不再假定具有独立性。例如，拓扑是由点阵或网格定义的，成分的依赖性就是网格上成分的距离函数。相反的，在拓扑中不相互靠近的成分还是独立的，至少近似独立；因此大多数成分对还是独立的。

3.1  什么样的依赖性应该被建模

    基本的问题是在近邻成分之间该选择什么样的依赖性。最基本的依赖相关是线性相关。然而，允许成分之间的线性相关看上去没那么有用。事实上，在许多的ICA估计方法中，成分都是被限制成不相关的，所以在任何的ICA版本中不相关性的要求看上去也是那么的自然。

    一个更让人感兴趣的依赖是通过某个高阶相关性，即能量相关。这也就是说：

              （公式3）

这里假定si和sj是拓扑中的近邻，而且协方差是正的。直观上，这样一个相关性意味着成分倾向于在同一时刻是活动的，即非零，但是si和sj的真实值却不是那么容易预测的。例如，如果定义两个有着零均值的独立成分zi，zj的积的变量，和一个普通的‘变量’变量sigma：

                                    （公式4）

所以这里si和sj是不相关的，但是他们的能量却不是。事实上，他们的能量的协方差等于，因为他等于sigma^2，所以他是正的（这里我们事先假定zi和zj是单位方差的）。这种依赖可在线性图像特征中被检测到，见图1。

3.2 生成模型

    现在我们定义一个生成模型，这个模型能够暗示拓扑网格中邻近成分的能量相关性。在这个模型中，观测到的图像碎片作为成分si的线性转换而生成，就像等式（1）中的基础ICA模型一样。关键的点是如何定义一个s的联合密度去表示这个拓扑。

图1.高阶依赖的例证。图中的两个型号都是不相关的，但是他们不是独立的。具体来说，他们的能量是相关的。这个信号如等式（4）中一样生成，但是作为例证的目的来说，是以时间相关信号替换变量sigma的。

    我们通过以下的方式来定义s的联合密度。si的方差sigma（i）^2不是常量，他们呗假定成是随机变量，有具体的模型生成。在生成方差后，变量si是由具体的条件分布来相互之间独立生成的，换句话来说，si是在给定方差下独立的。si之间的依赖性隐含在他们的方差的依赖性中。根据拓扑的原则，近邻成分的相对应的方差应该是（正）相关的，而且相互不靠近的成分的方差是独立的，至少是近似的。

    为了具体说明模型的方差sigma（i）^2，我们首先需要定义拓扑。这可以通过邻居函数h（i,j）来完成，这个函数能够表示第i个和第j个成分的相关程度。这个邻居函数能够以自组织映射的同样的方法来定义。所以h（i，j）是一个超参数矩阵。在本文中，我们认为他是未知的，但是是固定的。

     为了使用拓扑相关性h（i,j），需要许多不同模型的方差sigma（i）^2，我们通过一个非线性ICA模型来定义他们：

（公式5）

这里ui是‘高阶’独立成分，可以用作去生成方差，而且Phi是标量非线性的。ui的分布和Phi的实际形式是模型的附加超参数；下面会给出一些建议。限制uk成飞非负的看上去是很自然的。这个函数Phi可以被认为是在非负实数集中的一个单调转换。这确保了sigma（i）是非负的。生成的拓扑ICA模型如图2.

图2 拓扑ICA模型的例证，‘方差-生成’变量ui是随机生成的。然后随后在他们的拓扑近邻中混入线性部分。这个混合后的东西通过非线性Phi进行转换，因此得到一个局部方差sigma（i）。成分si通过方差si生成，最后混有线性的成分si给出观测到的图像碎片。

3.3拓扑ICA模型的基本特性

    上面定义的模型有着下面的一些特性。（这里我们简单的假定在稀疏的情况，即超高斯，数据）。第一个基本的特性是所有的成分si都是不相关的，这可以通过对称参数简单的验证得到。而且，他们的方差可以被定义成等于单元级别的，就像在经典ICA中一样。第二，成分si和sj是相互靠近的，即h（i,j）是明显的非零，倾向于在同一时间是活动的（非零）。换句话说，他们的能量si^2和sj^2都是正相关的。这完全符合我们在第一步中我们想定义的依赖结构。第三，相互远离的潜在变量实际上是独立的。高阶相关性的减小是作为一个距离函数来考虑的，详情见‘Topographic independent component analysis’。

4 模型的估计

4.1 逼近似然

    为了估计这个模型，我们采用最大释然估计。然而，这个模型因为一个缺失的变量使得似然不能以闭合的形式得到，为了简化估计，我们通过一个易处理的似然的逼近。

    为了获得这个逼近，我们首先做出下面的假设。首先，我们固定成分si的条件密度是高斯的。注意到这不是说明si的非条件密度是高斯的；事实上，他的非条件密度是超高斯的。第二，我们定义非线性Phi是。第三，我们简单的假定对于所有的i来说都是相同的。这些假设的主要的灵感是朴素代数，这使得一个简单的逼近成为可能。如果变量ui是从有着很重的尾巴的分布中得到的，那么这些选择是与自然图像统计相兼容的.

        因此我们得到了一下的log-似然的逼近，对于T个观测到的图像碎片It来说，t = 1，......T：

  （公式6）

这里标量函数G是从pu的概率密度函数PDf中得到的，方差-生成 变量：

（公式8）

这里的矩阵W包含了向量wi(x,y)为他的列向量。

     注意到似然的逼近是局部能量的一个函数。每一项可以被认为是一个近邻的能量，也许作为视觉复杂细胞模型中的高阶神经元的输出。

    函数G在经典ICA中也有着相似的角色作为独立成分的log-密度。如果数据是稀疏的（像自然图像数据一样），函数G（y）需要是凸的或者非负y。例如可以使用下面的函数形式：

（公式8）

这个函数和指数分布是相关的。这里的缩放常量alpha（1）和规范化常量beta（1）在决定后，可以给出一个概率密度，让这个密度能够与si的单元方差的限制相兼容，但是在下文中，他们是无关紧要的。

4.2学习规则

    上面给出的似然的逼近可hi让我们得到一个简单的梯度学习规则。首先我们假定数据已经被白化预处理了，而且wi已经被限制去生成一个正交系统。这暗示说明成分的估计都是不相关的。这样的一个简单化的处理在ICA中被广泛的使用，在这里也是特别的有用，因为他允许我们将注意力集中在高阶相关性上。

      因此我们能简单的得到一个梯度算法，第i个向量wi的更新规则如下：

（公式9）

这里

（公式10）

函数g是G的导数。在公式（9）的每一步执行之后，向量wi是被规范化为单位方差和正交的，就像文献9，6中一样。

    以自然解释的方式来说，这个公式（9）中的学习率被认为是‘调制的’Hebbian学习，因为这个学习项是通过项ri调制的。这一项被认为是文献8中的一个自顶向下的反馈，因为他是局部能量的函数，这个函数能够作为高阶神经元（复杂细胞）的输出。

4.3与独立子空间分析的联系

    另一个经典ICA模型的相近的相关的修改在文献8中被介绍。就像行拓扑ICA中一样，成分si没有被假定是完全的相互独立的。相反，si被假定为可以被组成二元组，三元组，或者n元组，这样在一个给定的n-元组中si可以是相互依赖的，但是在不同的n-元组之间的依赖是不被允许的。一个独立性假设的相关的缓和方法在文献2，11中被提及。由文献10中的Kohonen的特征子空间原理的灵感激发，si的n元组的概率密度是球形对称的，只受范数的影响。

    事实上，拓扑ICA能被认为是ISA的一个模型的生成。在ISA的似然能被以逼近似然（公式6）的特别例子表现出来。这种联系显示拓扑ICA是与不变特征子空间紧密联系的。在拓扑ICA中，不变-特征子空间，事实上不再独立，而且完全重叠。每一个成分有着他们自己的近邻，这能被用作去定义一个子空间，中的每一项都被认为是（权重）映射到一个特征子空间中，即作为一个不变特征的值。神经生理学的工作展示了在拓扑和复杂细胞间有着这种同样的连接。

5 实验

    我们在自然图像数据上使用拓扑ICA。数据来自于描述野外场景（动物，牧场，森林）的灰度图像的随机定位得到的16*16的像素图像碎片。每个碎片必须减去他们徐昂对应的均值灰度标量值。数据随后通过PCA进行降维来得到他们的低通过滤，在数据通过规范化主成份的方差的白化后，保留有最大方差的160个主成份。这些预处理步骤基本上与文献8 12 15中相似。在上面的结果中，这些预处理步骤的逆步骤也被执行。

    这个邻居函数被定义成在一个2-D环面点阵中，每个邻居包含有着9个单元的3*3平方这个2-d网格的选址是因为可视化的便利而选择的；更多的研究需要去做，去看看自然图像数据的‘本征维度’是什么。这个函数G如公式（8）中所述。在等式（6)中的似然近似是在50000个观测上最大化得到的，这些观测值在白化空间中有着正交规范化的限制，使用的梯度学习规则如公式（9）。

     获得的基向量ai如图3所示，这些基向量相似于用普通的ICA在图像数据中得到的基向量。另外他们有着一个清晰的拓扑组织。

    基本上ISA是一个复杂细胞模型，这里与ISA的联系在这些结果中也能被找到。图3中两个邻居基向量倾向于有着同样的方位和频率。他们的定位是相互靠近的。相反，他们的相位是不同的。这也就是说这样的基向量的邻居，即简单细胞，扮演着复杂细胞：在公式（6）中的似然的逼近的和的到的局部能量可以被认为是复杂细胞的输出。同样的，学习规则中的反馈ri可以被认为是来自于复杂细胞的，详情，见文献8 7.

6 讨论

6.1与其他的拓扑映射的比较

    我们的方法不同于普通方式上的的拓扑映射。首先，根据他的定义，拓扑ICA试图找到独立成分之间的分解。这是因为在这个模型中只有相互靠近的成分间不是独立的，至少近似上不是。相反，大多数的拓扑映射采用类似于向量量化和聚类的原理来选择表征向量。

    最有趣的是，拓扑ICA中定义的拓扑和大多数拓扑映射中的定义非常不一样。通常来说，数据空间中向量的相似性是有欧式几何定义的，或者是欧式距离，或者是点积，就像‘点积自组织映射’。在拓扑ICA中，数据空间中两个向量的相似性是有他们的高阶相关性定义的，这个不能以欧式相关性表现出来。事实上，我们的方法使得及时在正交向量集中也能定义拓扑，而对于欧式距离来说，他们是相等的。

图3 自然图像数据的拓扑ICA。这个模型给出图像窗口的类-Gabor基向量。基向量在定位，导向或频率上都是互相相似的。附近的基向量的相位缺失非常不同的，给出的邻居特性相似于复杂细胞中的表现。

6.2 总结

为了避免ICA在对自然图像统计中的建模所牵扯道德问题，我们引入了一个新的模型，拓扑ICA是一个生成模型，他将拓扑映射和ICA结合在一起。在所有的拓扑映射中，表征空间中的距离（在拓扑‘网格’）是相似于表征的成分的距离。在拓扑ICA中，表征成分的距离通过高阶相关性的互信息定于得到的，这给出了ICA上下文中的自然距离测量。

    在自然图像数据上的应用，拓扑ICA给出了类Gabor线性特征中的线性分解。与普通的ICA相比，这个高阶依赖性显示线性ICA不能移除定义一个拓扑顺序使得近邻的细胞倾向于在同一时间激活。这同样暗示这邻居有着与复杂细胞一样的特性。这个方法因此可以展现复杂细胞特性和拓扑组织的同时发生。这两个特性通过同时邻居的激活值定义的拓扑的原则而得到的。

参考文献

略