看An incremental network for on-line unsupervised classification and topology learning

这篇文章为被噪声污染的无标签数据提供了一个在线无监督学习机制。

Hierarchical clustering 可以提供满意的结果但是需要大量的计算的大量的内存。

SOM(Self-Organizing Map)产生一个从高维空间到低维空间的映射。

。。。

对于非静态数据分布的困难问题，在线学习，以上方法不合适。

基本问题是如何才能让学习系统适应新的信息而不用把旧的损坏掉。GNG-U（1997）可以删除旧的node，遵从非静态输入数据分布，但是以前学习过的模式被损坏了。

LLCS（2001）可以自动控制node，但是是给supervised on-line learning。

本文所研究的目标（goal）是设计一个可以用来进行 无监督分类和拓扑结构呈现 的自动的学习系统。目标(objective)是开发一个网络，这个网络可以在不稳定环境中自动操作，在线，或者是life-long。这个网络可以逐渐增长，学习到需要多少nodes来解决一个问题，学习到clusters的数目，容纳在线非静态数据分布的输入模式和动态消除输入数据中的噪声。

算法的目标：

1. To process on-line or life-long learning non-stationary
data.
2. Using no prior conditions such as a suitable number of
nodes or a good initial codebook or knowing how many
classes exist, to conduct unsupervised learning, report a
suitable number of classes and represent the topological
structure of input probability density.
3. To separate classes with low-density overlap and detect
the main structure of clusters that are polluted by noise.

为了实现这些目标，我们着重以下方面：本地表达，插入新节点，相似性阈值，适应性学习速率，删除低概率密度节点。

我们使用2层神经网络的结构。

第一层：产生输入数据的网络结构

第二层：产生cluster数目