2024——Knowledge evolution learning: 弱监督网络用于高分土地覆盖分类

原文： ISPRS 2024.1

Knowledge evolution learning: A cost-free weakly supervised semantic segmentation framework for high-resolution land cover classification

好像直接点不开，重新拷贝一下网址在新浏览器就能打开了。

这是这篇论文的缩写对照：

high-resolution (HR)

land cover products (LCP)

low-level commonality (LLC) knowledge

high-level specialty（HLS）

knowledge exploration mechanism (KEM)

方法概述

KE-WESUP主要包括三个任务:(1)提取LLC知识。采用基于超像素的训练方法，缓解LCP与HR图像的不一致性，直接从LCP中学习LLC知识。(2) HLS知识的自动探索。提出了一种动态标签优化策略，以获得少量高置信度的点标签，并通过知识探索机制鼓励模型自动挖掘HLS知识，从而促使模型适应复杂的hr场景。(3) LLC和HLS知识的动态交互。采用一致性正则化方法来实现LLC和HLS知识的进一步优化和验证。

我的总结：（创新点）

论文思想是知识可以进化，可以从最初的低分辨率知识进化到高分辨率水平知识。关键在于如何构建损失函数使得网络学习高分的知识，涉及到样本的选择，获取等等。

1低分知识可以从低分产品中学，通过超像素缓解分辨率问题；

2基于学习到的LLC知识，设计了一种动态标签优化(DLO)策略，以获得少量高置信度的点标签（筛选保留LLC知识），并通过KEM在有限的点标签下探索HLS知识。

3设计了知识动态交互流程，实现了LLC和HLS知识的进一步验证和优化。

具体方法

LLC知识

由于LR标签与HR图像分辨率不一致，所以通过在LR标签上投影超像素，通过多数投票机制将LR标签转化为超像素标签。在训练过程中，首先对HR图像进行动态Felzenszwalb超像素分割，然后将LR标签转换为超像素标签。最后，每个超像素的交叉熵计算损失函数。

HLS知识  （LLC + HLS）

在LLC学习后冻住，开始HLS学习 。HLS学习阶段使用与LLC学习相同的主干，但在完全连接层之后连接两个分类器，即基本分类器(fb)和扩展分类器(fe)。利用fb进一步优化LLC知识，利用fe挖掘HLS知识。

首先，我们将LLC知识，即权重信息，转移到HLS网络，分类器的权重赋给了HLS学习网络中的fb，fe随机分布。

其次，输入图像将由LLC学习网络进行预测，并由HLS学习网络进行计算。然后，我们建议将LLC学习预测与超像素标签再次结合，按一定比例0.02随机选择点标签，并使用DLO策略来提高其置信度。保留的点标签与fb用于计算低分损失:

最后，将点标签逐步扩展为伪标签，通过fe输出的概率来计算高分的损失，在培训过程中不增加任何成本使模型逐步学习HLS知识。

动态标签优化（DLO）   （针对HLS中的fb: 低分知识）

尽管使用超像素方法改进了LLC预测，但初始随机点标签仍然不完美。错误的样本点会影响LLC知识的优化，同时会导致KEM后fe的严重误差传播。因此，我们设计了一种策略，通过在训练过程中使用分层向量来动态优化初始点标签，以确保损失函数中涉及的标签尽可能准确。该方法的基本假设是，由于模型已经学习了关键的LLC知识，目前选取的样本点应该大部分是准确的，离群值的比例很小，因此可以使用一个类别的层次向量来表示该类别的最典型特征。

我们可以计算每个点与相应的类层次向量之间的相似度，当相似度小于指定阈值时，将该点视为假标签。因此，这一点将不涉及计算损失函数。该方法的优点是可以在没有任何成本的情况下，利用模型本身的输出来提高点标签的置信度，并且随着不断的训练，优化能力会稳步提高。

最终大白话：每个类别求平均向量，某点与相应的类层次向量之间的相似度<指定阈值时，不计算损失。

知识探索机制  （针对HLS中的fe: 高分知识）

这个部分是为了学习高分知识，但是没有数据，这个知识怎么来呢？

利用高置信度的点标签可以进一步优化fb的LLC知识，但fe需要注入新的知识进行知识进化。因此，我们提出该模型可以在没有额外成本的情况下，根据其输出概率将LLC知识发展为HLS知识。

具体来说，我们采用基于概率的KEM实现知识探索，将有限的点标签逐步扩展为伪标签，使模型在训练过程中自动挖掘新的HR信息。我的理解，应该就是在已获取类别的点周围产生8个临近点，如果它们还没标记，则考虑：预测的类别与中心点是否相同，且概率是否大于某个阈值，如果同时满足则也赋予这个点这个类别，如果不满足就空着。（这样最终会不会有空着的呢？）

知识动态交互

我们需要及时对LLC知识进行复习和巩固，以保证模型既能学习进阶知识，又能保留基础知识。否则，它将无法适应复杂的连续学习场景。因此，我们提出了LLC和HLS知识的知识动态交互。

在HLS训练中，fb用于优化LLC知识，fe用于挖掘HLS知识。两个分类器的知识是相互独立的。如果只有两个分类器独立约束，则不可能保证模型同时具有LLC和HLS信息。因此，我们也对fb和fe应用一致的正则化约束，实现LLC和HLS知识的相互学习。训练时，通过损失函数使它俩相似。在预测阶段，我们将两个分类器的预测概率图平均作为最终输出概率。上述方法使模型在学习HLS知识的同时，保护旧知识(LLC知识)不被新知识覆盖，保证最终的分类结果具有LR和HR特征的优势。