SO-Net 阅读笔记

先验知识

SOM，即自组织映射

（以下摘自wiki）

SOM是一种无监督学习算法，使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维空间）离散化的表示的人工神经网络

自组织映射的训练实例。蓝色斑点是训练数据的分布，而小白斑点是从该分布走出的目前的训练数据。起初（左图）SOM节点处在数据空间的任意位置。选择离训练数据最近的（用黄色高亮的）节点。它会向着训练数据移动，网格上它的邻居节点也会（在较小程度上）如此移动。经过多次迭代后的网格会趋于近似的数据分布（上图）。

算法

1. 随机排列映射中节点的权值向量
2. 取出一个输入向量 {\displaystyle \mathbf {D(t)} }
3. 在映射中遍历每个节点
   1. 使用欧氏距离公式得到输入向量和该映射节点的权值向量之间的相似度
   2. 找出距离最小的节点（这个节点是最佳匹配单元，BMU）
4. 通过更新将BMU邻域内的节点（包括BMU本身）拉向输入向量。
   1. Wv(s + 1) = Wv(s) + Θ(u, v, s) α(s)(D(t) - Wv(s))
5. 增加 s 并回到第二步只要 {\displaystyle s<\lambda } 就继续循环

 Autoencoder