人工神经网络 ：自组织特征映射

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

无论是全局逼近的多层感知器，还是局部逼近的径向基网络，在训练中用到的都是监督学习的方法。如果将无监督学习引入神经网络中，对应的结构就是自组织特征映射（Self-Organizing Map），这是芬兰赫尔辛基大学的泰乌沃·柯霍宁于 1981 年提出的一类神经网络。

---

一、今日所学

第一，它能够将高维的输入数据映射到低维空间之上（通常是二维空间），因而起到降维的作用。在降维的同时，自组织映射妙就妙在还能维持数据在高维空间上的原始拓扑，将高维空间中相似的样本点映射到网络输出层的邻近神经元上，从而保留输入数据的结构化特征。
第二，自组织映射采用的是竞争性学习而非传统的纠错学习。在竞争性学习中，对输入样本产生响应的权利并不取决于预设的权重系数，而是由各个神经元相互竞争得到的。不断竞争的过程就是网络中不同神经元的作用不断专门化的过程。
因此，自组织映射的主要任务就是将任意维度的输入模式转换为一维或二维的离散映射，并以拓扑有序的方式自适应地实现这个映射。在训练过程中，自组织映射中每个神经元的权重系数首先要初始化，初始化的方式通常是将其赋值为较小的随机数，这可以保证不引入无关的先验信息。当初始化完成后，网络的训练就包括以下三个主要过程。

竞争过程：对每个输入模式，网络中的神经元都计算其判别函数的取值，判别函数值最大的神经元成为竞争过程的优胜者；
合作过程：获胜神经元决定兴奋神经元的拓扑邻域的空间位置；
自适应过程：兴奋神经元适当调节其权重系数，以增加它们对于当前输入模式的判别函数值，强化未来对类似输入模式的响应。
竞争过程的实质是找到输入模式和神经元之间的最佳匹配。

1,将无监督学习引入神经网络中，对应的结构就是自组织特征映射（Self-Organizing Map);
2,自组织映射有两个明显的不同:第一，它能够将高维的输入数据映射到低维空间之上（通常是二维空间），因而起到降维的作用。第二，自组织映射采用的是竞争性学习而非传统的纠错学习。
3,侧向抑制”的效应，它描述的是兴奋的神经元会降低相邻神经元活性的现象。侧向抑制能够阻止从侧向刺激兴奋神经元到邻近神经元的动作电位的传播;
4,自组织映射的主要任务就是将任意维度的输入模式转换为一维或二维的离散映射，并以拓扑有序的方式自适应地实现这个映射;

5,网络的训练就包括以下三个主要过程:a,竞争过程,b,合作过程,c,自适应过程;
6,竞争过程的实质是找到输入模式和神经元之间的最佳匹配;
7,两个向量的内积越大，它们之间的欧氏距离就越小，因而内积最大化的匹配准则等效于欧氏距离最小化。从这个角度看，获胜神经元就是对输入模式的最佳匹配。
8,竞争过程确定了合作神经元的拓扑邻域的中心，合作过程就要界定中心之外的拓扑邻域;
9,自适应过程可以分为两个阶段。第一阶段是排序阶段，权重系数的拓扑排序在这个阶段形成；第二阶段是收敛阶段，通过微调特征映射实现对输入模式的精确描述。只要算法的参数没有问题，自组织映射就能将完全无序的初始状态按照输入模式以有组织的方式重构，这也是“自组织”的含义。
10,从输入模式到神经元的映射关系被称为特征映射;
11,自组织映射可以看成是一个编码器 - 解_码器模型：寻找最佳匹配神经元就是对输入模式进行编码，确定权重系数则是对编码结果进行解码，邻域函数则可以表示对编解码过程造成干扰的噪声的概率密度。自组织映射的这个性质与信息论中用于数据压缩的向量量化方法不谋而合。

二、今日重点

1,自组织映射是一类无监督学习的神经网络，模拟了生物神经系统的竞争性学习机制；
2,自组织映射能将任意维度的输入模式转换为一维或二维的离散映射，得到的特征映射是拓扑有序的；
3,在拓扑映射中，输出神经元的空间位置对应了输入数据的模式或特征；
4,自组织映射网络的训练包括竞争过程、合作过程和自适应过程等几个主要步骤。