数据增量更新定义_【干扰源定位】增量学习

最近在交接实验室安排的项目，搜集里一些实验过程中遇到的问题。传统大数据分析中，为了保证训练得到的模型具有准确性和高可靠性，由两个基本假设:

1.学习的训练样本和新的测试样本满足独立同分布

2.必须有足够可用的训练样本

在这里，着重调研了最近接触多的两种学习方法————增量学习与迁移学习。下面是个人的一些总结和理解，若有不当之处还请评论交流指正。

1.增量学习

增量学习思想可以描述为：每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新。不难发现，增量学习方法更加符合人的思维原理。增量学习框架有很多，各框架最核心的内容是处理新数据与已存储知识相似性评价方法。所以增量学习主要关注的是灾难性遗忘（Catastrophic forgetting），平衡新知识与旧知识之间的关系，即如何在学习新知识的情况下不忘记旧知识。

增量学习类似：当学会了 0-9 识别与书写，再学习 A-Z 字母表的识别与书写后我们仍然记得 0-9 数字的识别与书写，而目前传统分类任务是一个网络学习了 0-9 数字分类，再用这个网络学习 A-Z 字母分类后，就会难以对数字有一个很好的分类，如果想兼顾 0-9 和 A-Z 则需要将所有种类的样本都输入到神经网络进行训练，这无疑是很耗时耗力的。

1.1一种通用的自适应增量学习神经网络——SOINN

SOINN是一种基于竞争学习的两层神经网络。SOINN的增量性使得它能够发现数据流中出现的新模式并进行学习，同时不影响之前学习的结果。

SOINN是两层结构（不包括输入层）的竞争性神经网络，它以自组织的方式对输入数据进行在线聚类和拓扑表示，其工作过程如图1所示。

• 第1层网络接受原始数据的输入，以在线的方式自适应地生成原型神经元来表示输入数据。这些节点和它们之间的连接反映了原始数据的分布情况；
• 第2层根据第1层网络的结果估计出原始数据的类间距离与类内距离，并以此作为参数，把第1层生成的神经元作为输入再运行一次SOINN算法，以稳定学习结果。

如图2所示：当输入数据存在多个聚类并存在噪声时，SOINN依然能够生成可靠的神经元节点来表示输入数据中的各个聚类；同时子图的拓扑结构反映了原始数据分布的性。

SOINN分别定义了类内节点插入和类间节点插入操作来达到这两个目的。

• 类内的节点插入操作主要是为了自适应地减小神经元的量化误差,尽可能准确地近似原始数据的分布。

1. ）SOINN 在运行过程中会记录每个神经元的累积量化误差,每学习一段固定的时间之后,找出所有节点中累积量化误差最大的两个节点,然后在它们的中间插入一个新的节点,以插值的方式更新它们的累计量化误差值。
2. ）考虑到并非每次插入操作都是有必要的,如果不进行一些限制的话,那么随着算法的进行,节点的数量会不断地增加.因此,SOINN 在每次类内的节点插入操作后都会再判断该次插入操作是否显著降低了量化误差:如果没有,则取消本次插入操作。

类间节点插入发生在新输入的数据与之前学习过的数据差异性较大的时候。

1. ）SOINN 通过为每一个神经元i设置一个相似度阈值(similarity threshold)参数Ti来判断新来的数据样本是否有可能属于一个新的类别:如果该数据点与之前学习得到神经元差异性较大,就在该数据点的位置上生成一个新的节点来代表这个可能的模式；
2. ）SOINN 首先找到与其最相似的两个神经元s1,就认为该数据点的差异较大.其中,d(∙)为相似度度量函数(通常为欧氏距离函数)。新生成的节点并不意味着最终一定属于一个新的聚类,可能是噪声。只是在当前的相似度阈值下,该输入与之前学习到的模式有较大差异。
3. ）随着越来越多的输入模式得到学习，相似度阈值和神经元之间的连接也在不断变化。

原文链接：

增量学习方法_昔风不起，唯有努力生存！-CSDN博客_增量学习​blog.csdn.net

代码链接：

fukatani/soinn​github.com

迁移学习

迁移学习是指用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。这里迁移学习放宽了上面的两个基本假设，我们可以迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有学习样本的问题。（当然了，目标领域样本量肯定是越多越好的）。当不同元素共享的因素越多，迁移学习就越容易。

增量学习与迁移学习比较

综上所述，在概念上，增量学习与迁移学习最大的区别就是对待旧知识的处理，增量学习在学习新知识的同时需要尽可能保持旧知识，不管它们类别相关还是不相关的，而迁移学习则只是借助旧知识来学习新知识，学习完成后只关注在新知识上的性能，不再考虑在旧知识上的性能。

---

总结：

综上所述，本项目“区域导航信号环境态势感知与态势反演”，可以使用SOINN这种自适应算法实现无监督的聚类，实现干扰源定位。代码还有待调试，数据接口要修正。