论文《Unsupervised Continual Learning And Self-Taught Associative Memory Hierarchies》解读

本论文提出了一个无监督的持续学习组件STAM(Self-Taught Associative Memory)
如下图：

上图中，$C_i$为所有聚类簇的集合。当一个图片$X_i$输入到这个结构中时，会被打碎成若干个重叠的可接受域(Receptive Fields,RFs)。需要注意的是，每一个STAM结构处理一个可接受域。这些可接受域经过函数$c(x_{i,m})=\underset{j=1...|C_i|}{\mathrm{argmin}}||x_{i,m}-w_{i,j}||$的处理会将各个可接受域转为相应的聚类簇。上图中$c_i(x_{i,.m})$意为第$i$层的聚类簇中，与$x_{i,.m}$距离最近的聚类簇(欧氏距离)，而$x_{i,m}$意为第$i$层，第$m$个可接受域的输入数据。然后将通过函数$c(\cdot )$处理的的可接受域重组输出为处理后的图片输出为$Y_i$，$Y_i$虽然与$X_i$具有相同的特征维度，但是因为$X_i$的每一个可接受域做了分类处理，所以$Y_i$的实际特征维度可能小于$X_i$。此外，聚类簇的集合可能会更新。没当我们队$x_{i,m}$进行分类时，若$x_{i,m}$分类至第$i$层，第$j$个聚类簇$w_{i,j}$，则聚类簇向量$w_{i,j}$需要进行更新，公式为:
$$w_{i,j}=\alpha x_{i,m}+(1-\alpha )w_{i,j}whenc(x_{i,m})=j$$
此外，由于持续学习的不确定性，难免乎有新的聚类簇也会动态的生成，它会分成两个步骤判断是都要生成新的聚类簇。更新第$j$的聚类簇对应的平均值和标准差。

对于输入的可接受域$x_{i,m}$，如果其与离它最近的聚类簇$j$，存在以下关系，则可以判定$x_{i,m}$是一个新的类，以该可接受域初始化产生新的聚类簇，判别准则如下：

但是为了区分极端值与真正的新的类簇，我们可以再做一个判定。若$y_{i+1,m}$是输出$Y_{i+1}$的一部分，将其按第$i$层RF的划分方式划分，则$y_{i+1,m}$对应的是第$i$层，第$m$个STAM的输入，计算$c_i(y_{i+1,m})$，并根据上面的判别准则判定$y_{i+1,m}$是否属于新的类簇，如果$y_{i+1,m}$与$x_{i,m}$都是新的类簇，则生成新的聚类簇。如果$x_{i,m}$是新类簇而$y_{i+1,m}不是$，则不生产新的类簇。

当我们对输入的数据$x$进行最终分类时，遵循以下步骤：

• 首先，计算每个代表及的向量$x_n$与类簇$w_j$的忠诚度，忠诚度的定义见下图（6）式。即与$x_n$类簇$w_j$的关系值除以与$x_n$关系最近的类簇KaTeX parse error: Expected group after '^' at position 4: w_j^̲'
• 类簇$w_j$与类$m$的忠诚度定义为，任意属于$m$的向量$x_n$的与类簇$w_j$的忠诚度的平均值
• 判定输入向量$x$属于哪个类$m$，则根据式（8），$x$所属的类$k$，使得（8）式值最大
  ()