【混合网络】

A Novel Adaptive Hybrid Fusion Network for Multiresolution Remote Sensing Images Classificatio

(一种新的自适应混合融合网络在多分辨率遥感图像分类中的应用)

随着对地观测技术的快速发展,全色(PAN)和多光谱(MS)图像的获取也越来越容易。PAN和MS图像的多分辨率分类作为MS图像分析的一项基本任务已成为研究热点。该领域的主要挑战是如何有效地处理数据和提取特征以提高分类精度。设计了一种新的自适应混合融合网络(AHF-Net)用于多分辨率遥感图像分类。它包括两个部分:数据融合和特征融合。在数据融合部分,提出了一种自适应加权亮度-色调-饱和度(adaptive weighted intensity-hue-saturation (AWIHS))的融合策略,从信息共享的角度,通过自适应地添加彼此的唯一信息来减小MS和PAN图像之间的差异。在特征融合部分,从特征的二阶相关性出发,提出了一种基于相关性的注意力特征融合(correlation-based attention feature fusion (CAFF))模型。该算法根据输入特征通道的重要性自适应地确定融合系数,提高了融合特征的区分度。在AWIHS和CAFF的基础上,受特征金字塔思想的启发,将多级特征融合和双分支残差网络相结合,作为AHF-Net的骨干网络。AHF-Net通过将AWIHS和CAFF模块与骨干网络相结合,可以有效地提高多分辨率遥感影像的分类精度。

介绍

近年来,随着对地观测技术的不断发展,遥感影像的性能和质量都有了很大的提高。但以目前的技术水平,还不可能同时获得高光谱信息和高空间分辨率的遥感图像。几年前,QuickBird、Worldview、Pleiades、Spot 5 HRG、DEMIMOS-2、IKONOS、Landsat 7 ETM+、Landsat 8 OLI等星载被动对地观测系统,可以联合获取同一场景的两幅图像,即:具有高空间分辨率但低光谱分辨率的全色(PAN)图像和具有高光谱分辨率但低空间分辨率的多光谱(MS)图像。这两种图像之间的内在关系为PAN和MS图像的多分辨率分类奠定了基础。与单纯的MS图像分类相比,PAN和MS图像多分辨率分类的目标是利用它们的内在一致性提取和融合特征,在减少它们外部差异的基础上对MS图像进行准确分类。PAN和MS多分辨率分类算法可大致分为两类:一种是先进行数据融合,然后对全色锐化的MS图像进行分类;另一种是分别提取MS和PAN的特征,然后进行特征融合进行分类。

1)前一种算法(先融合后分类)是从融合后的PAN和MS图像中提取特征,然后进行融合分类。近年来,人们提出了许多优秀的全色锐化算法。它们大致可分为四类:组件替换(CS)(包括:强度-色调-饱和度(IHS)变换、Gram-Schmidt(GS)、主成分分析(PCA));多分辨率分析(MRA);变分优化(VO);和深度学习。Shackelford和Davis使用颜色归一化方法对MS图像进行全色锐化,然后使用模糊逻辑方法对全色锐化的MS图像进行分类。Su等人使用纹理和局部空间统计信息对全色锐化MS图像进行分类。Shingare等人评估了多种全色锐化方法,并使用决策树算法进行全色锐化MS图像分类。以上算法均具有较好的性能,为多分辨率分类的发展提供了有益的启示。然而,它们的分类性能严重依赖于全色锐化算法。

2)后一种算法(分类前特征融合)分别从PAN和MS图像中提取特征,然后融合特征进行分类。Moser和Serpico提出了一种新的基于马尔可夫随机场的上下文方法,用于PAN和MS图像的多分辨率分类。Moser等人使用类似的方法对PAN和MS图像进行多分辨率分类。在统一的贝叶斯框架下,Mao等人从PAN图像生成语义片段,并使用MS图像将聚类标签分配给片段以进行分类。Zhang等人构建了输入数据的中间层表示,然后使用支持向量机(SVM)进行图像分类。虽然这些算法也分别提取了PAN和MS图像的特征,但它们没有很好地考虑PAN和MS数据之间的显著外部差异。

近年来,DL已广泛应用于遥感领域。这些方法由于其优异的性能逐渐成为主流。受其启发,研究人员取得了以下研究成果:Liu等人提出了一种双分支分类网络,分别使用SAE和DCNN提取MS图像和PAN图像的特征,然后使用一个全连通网络融合级联的特征进行最终分类。Zhao等人提出了一种两阶段分类算法。首先,对MS图像进行超像素分割,并利用多个CNNs提取超像素不同部分的特征,完成分类。然后,利用PAN图像的信息对分类结果进行微调。双分支网络的提出为PAN和MS图像的多分辨率分类提供了新的启示。Bergado等人提出了一种用于VHR卫星图像分类的多分辨率卷积网络,称为Fusenet,它通过卷积和上采样将波段融合和分类结合到端到端网络中。基于Fusenet,Bergado等人进一步提出了一种称为Reusenet的用于VHR图像分类的网络,该网络通过ReuseNet的递归架构将不同分辨率图像的融合和正则化结合到端到端网络中。Zhu等人分别使用空间注意力模块和通道注意力模块提取PAN和MS图像的特征,然后融合提取的特征进行分类。上述网络和算法丰富了多分辨率分类技术,提高了多分辨率分类的精度,对进一步挖掘和利用PAN和MS数据具有启发意义。虽然DL方法在这一领域的应用取得了令人瞩目的成绩,但一些容易被忽视的问题值得我们注意
i)对于差异显著的数据,IHS全色锐化算法通常会造成频谱失真,不能很好地融合数据的特征信息。此外,IHS全色锐化算法为了获得更好的融合效果,通常会引入一些超参数,降低了算法的普适性和通用性。
ii)对于待融合的特征,当前在特征融合策略(如元素相加或特征连接)中使用的特征的权重系数是相同的。它们相对简单粗糙,没有考虑到实际遥感地形对两种输入通道有不同的偏好。这通常会导致输出特征不能很好地继承输入特征的判别特性。
iii)对于基于数据融合的框架,特征提取是人工进行的,不能很好地提取数据中的高层语义信息。在基于特征的融合框架中,对于具有两种不同属性的数据没有差异约简过程。它们独立地提取PAN和MS的特征,即使它们是同一场景的地形;提取的特征可能不在同一个特征空间,增加了特征融合的难度和网络训练的负担。

在此基础上,我们提出了一种新的自适应混合融合网络(AHF-Net)用于多分辨率遥感图像分类。

贡献

1)提出了一种自适应加权IHS(AWIHS)数据融合策略来减小数据差异。利用线性因子调整谱带间的比值,可以减轻IHS算法的频谱失真。从互补信息的角度出发,将MS图像的唯一信息添加到PAN图像中,从而减少数据之间的差异。此外,AWIHS算法不含超参数,具有较好的普适性和推广性。
2)提出了一种基于相关性的网络注意特征融合(CAFF)模型。该模块将特征相关性作为特征冗余度的度量,并生成相应的掩模来增强或抑制融合特征的通道。通过这种方式,CAFF模块可以通过测量融合特征的通道的重要性来自适应地调整融合系数,从而提高融合特征的区分度。
3)提出了一种数据融合和特征融合相结合的双路径混合分类框架。该框架不仅可以通过分支网络提取特征,而且可以通过数据融合和两个分支特征的相互作用来缩小特征空间的差异。这种交互可以使特征融合更加有效和可靠,从而提高分类性能。

相关工作

IHS Pansharpening Methods

MS图像的全色锐化是指将PAN图像的空间细节添加到MS图像中。锐化的目的是获得具有高光谱分辨率和高空间分辨率的MS图像。如引言中所述,IHS方法是CS全色锐化方法之一。原有的IHS方法非常简单,仅适用于三个波段的MS图像。的基本流程IHS-based pansharpening方法如图1(a)所示:请添加图片描述
首先,将MS图像上采样到PAN图像大小,获得Mup。其次,将PAN和Mup图像映射到IHS颜色空间。然后用PAN图像的强度分量替换Mup图像的强度分量Ic。最后,将Mup图像映射回RGB空间,得到融合图像MSfusion。然而,由于大多数**MS图像由四个通道(RGB和近红外near-infrared)**组成,因此研究人员将IHS算法扩展到多通道图像。其表达式如下:

请添加图片描述

其中, M S i MS^i MSifusion M i M^i Miup分别是MSfusion和Mup图像的第i个波段,并且gMS是融合系数,n是MS图像中的波段数目。强度分量Ic是Mup的线性组合,其计算方法如下:
在这里插入图片描述

其中αi是线性因子。在早期的算法中,线性因子和融合系数被简单地设置为常数(1/n)。当PAN和MS图像显著不同时,该集合将导致融合图像中严重的光谱失真。为了减少融合图像的光谱失真,Rahmani等人提出了一种自适应IHS(AIHS)全色锐化方法来计算Ic 该方法通过优化方程得到线性因子αi。为了更好地为MS图像添加空间细节,他们还使用了边缘检测算子来提取PAN图像的边缘信息。
基于此,Leung等人提出了一种改进的AIHS(IAIHS)方法。在融合系数中引入MS图像的光谱信息比和边缘检测信息,进一步减小光谱失真。在AIHS和IAIHS算法的基础上,Wang等人提出了一种改进算法。他们引入了一个手动调整的参数t来调整光谱信息比,并使用α作为PAN和MS边缘检测算子的组合系数。

IHS全色锐化算法具有快速、方便的特点,融合后的图像空间分辨率较高。然而,他们的缺点也是显而易见的。一方面,光谱失真的问题仍然存在。另一方面,上述算法需要手动调整一些参数来实现不同传感器的图像融合效果好。

Global Second-Order Pooling

全局二阶池(global second-order pooling (GSOP))的概念与全局一阶池(global first-order pooling (GFOP))相关。GFOP指的是整个特征图的平均池。近年来,GFOP有两个用途:一种是替换神经网络的全连接层,另一种是压缩注意机制中的特征。GSOP将协方差用于特征图的全局汇集,具体过程如下:
让F∈ R H × W × C R^{H×W×C} RH×W×C功能映射汇集,重塑为F`∈ R H W × C R^{HW×C} RHW×C,然后计算通道之间的协方差协方差矩阵C∈ R C × C R^{C×C} RC×C。矩阵C是F的GSOP的结果特性映射。

二阶池的研究起源于研究者对增强深度神经网络非线性能力的研究。Li等人研究了二阶统计量对DL中大规模视觉识别任务表现的影响。他们提出了一种矩阵幂归一化方法来解决特征鲁棒性和协方差结构保持的问题。Wang等人还提出了一种二阶池的全局门控混合,用于改进深度神经网络。Wang等人、Li等人和Xiao等人探索了在神经网络末端使用二阶池,即使用二阶池代替全连接层,并取得了良好的结果。GSOP-Net 作为一个模块被插入到神经网络中,以探索如何在网络的早期层中引入高阶表示来改善网络的非线性。GSOP-Net 的探索是使用GSOP来获得注意机制中的特征表示,这与GFOP在注意机制中的应用是一致的。
与GFOP相比,GSOP的研究提高了神经网络的非线性能力。所提取的特征表示信息更加丰富,易于操作。

方法

AWIHS Data Fusion Strategy

在PAN和MS图像的获取过程中,传感器和大气介质是不同的。经过几何校正和辐射校正后,两幅图像之间的外部差异是巨大的。MS和PAN图像之间的关系为:本质特征是相同的,但外观特征是不同的。这种差异通常导致提取的特征不能反映两幅图像的内部一致性。如果将原始MS图像和PAN图像直接用作网络的输入,则网络的权重不能共享。网络提取的特征很可能处于不同的特征空间,导致特征融合效果不理想。因此,应缩小PAN和MS影像之间的差异,以减轻后续网络集成和分类的负担。
对于使用DL对MS图像和PAN图像进行分类的算法,它们在将图像输入到网络之前没有考虑减小MS和PAN数据之间的数据差异。为此,提出了一种数据融合策略,以缩小两者之间的差异。我们称之为AWIHS图像融合算法。AWIHS的基本流程如图1(b)所示。AWIHS将MS和PAN图像作为输入。它可以分为两个部分:MSfusion和PANfusion的获取。请添加图片描述

1) Acquisition of the MSfusion Image:

对于MS图像,为了更好地与PAN图像交互,我们将其上采样到PAN图像的大小并获得上采样图像:Mup。上采样方法是双三次插值算法。与最近邻插值和二次插值相比,该上采样方法使用了更多的邻域信息。
我们通过优化以下公式计算线性因子αi:
在这里插入图片描述
然后,我们根据(2)计算Ic。我们从共享信息的角度来考虑Ic。由于(PAN−Ic)>0,我们推断Ic的信息应该包含在PAN图像中。由于0<αi<1,我们推断Ic的信息也应该包含在MS图像中。在此基础上,Ic可以看作是MS和PAN图像的共享信息。PAN图像与Ic之间的差异可以被视为PAN图像的唯一信息。

为了获得PAN和MS图像的边缘信息,我们使用了边缘检测算子WPAN和W M I M^I MIup提取各自的边缘。边缘检测算子的计算如下式所示:
在这里插入图片描述

其中,▽PAN和▽ M i M^i Miup分别是PAN图像和MS图像第i个通道的梯度。λ = 1 0 − 9 10^{−9} 109是一个参数,指示梯度应该有多大,并控制图像的平滑度,而ε = 1 0 − 10 10^{−10} 1010是一个小值,强制非零分母。由于PAN图像中出现的边缘可能不会出现在每个MS波段中,因此不适合将相同数量的细节注入不同波段。我们认为αi可以反映各MS谱带与PAN图像的差异程度。因此,为了使MSfusion各波段的空间细节分布更加合理,我们不再单独使用WPAN,而是分别使用(1 −αi)和αi作为WPAN和W M i M^i Miup的权重。
为了减少频谱失真,注入到每个频带中的信息需要保持与MS原始频带类似的频谱比。我们认为αi也能反映质谱不同谱带间的差异程度。因此,αi也可以作为自适应权值来调整各谱段的信息注入比例。

基于以上分析,我们设计如下融合系数gMS
在这里插入图片描述
2) Acquisition of PANfusion Image:
为了减少他们之间的差异,我们从信息共享的角度出发。对于PANfusion,Ic也被认为是MS和PAN图像的共享信息。MS图像与Ic之间的差异可以被视为MS图像的唯一信息。由于αi能反映各MS谱带与PAN图像的差异程度,
在这里插入图片描述
当αi等于1/4时,上述公式退化为以下方程:
在这里插入图片描述
在这里插入图片描述
另一方面,AWIHS算法从信息共享的角度出发,将PAN和MS图像的共享信息分离,并将它们的唯一信息添加到彼此中。通过这种方式,我们的AWIHS可以自适应地减小PAN和MS之间的差异。

CAFF Module

本文采用AWIHS算法后,缩小了PAN和MS数据之间的差异,增强了内部联系。考虑到特征之间的内在一致性,提出了CAFF块,块的详细信息如下。CAFF的整个流程如图2所示。假设待融合的特征为f1,f2 ∈ R H × W × C R^{H×W×C} RH×W×C,其中H和W为空间高度和宽度,C为通道数。
请添加图片描述

1) Calculate the Correlation Matrix C:
对于输入的两个三维特征f1,f2 ∈ R H × W × C R^{H×W×C} RH×W×C,我们将其整形为 f r f^r fr1 f r f^r fr2 R n × C R^{n×C} Rn×C,其中n = H×W。然后计算两两信道的相关性,得到一个协方差矩阵C ∈ R C × C R^{C×C} RC×C。计算过程如下式所示:在这里插入图片描述
所得到的协方差矩阵具有清楚的物理意义,即Ci,j表示f1的第i个信道与f2的第j个信道之间的相关性。矩阵C中包含的信息可以帮助我们分析f1和f2之间的统计相关性。通过分析特征之间的统计依赖关系,可以帮助我们探索有效的特征融合方法。
2) Calculate Feature Fusion Mask α and β:
我们分别对C的行和列求和,得到两个列向量rowsum,colsum R C × 1 R^{C×1} RC×1 r o w i row^i rowisum c o l i col^i colisum)的值表示 f i f^i fi1 f i f^i fi2)和f2(f1)之间的相关程度。
累积和向量的结果可分为三种类型:
在这里插入图片描述

对于 r o w i row^i rowisum,如果rowsum >0,则意味着 f i f^i fi1与f2具有很高的相关性,这表明 f i f^i fi1中的信息可以与f2中的许多通道的信息相似。因此, f i f^i fi1包含的信息是相对冗余的。在一般的特征融合方法中,融合特征的冗余信息会被自动增强,这会降低特征的可区分性,导致后续分类的准确率下降。因此,在后续的融合中需要抑制冗余信息。
如果 r o w i row^i rowisum>0意味着通道与f2具有低相关性。因此它所包含的信息是相对独立的。基于前面的分析,在后续的融合中还需要加强。
如果 r o w i row^i rowisum=0意味着信道是中性的。在这种情况下,融合过程退化为传统的元素式加法。结论与colsum 相同。
在注意力模型中,特征掩模可以有效地加强或抑制特征通道。类似地,我们基于上述特征相关性分析来生成特征掩模。所生成的掩码可以根据相关性来抑制或加强待融合的通道。将rowsum,colsum 转换为[0,1]的等式如下:在这里插入图片描述
与Sigmoid函数不同,它是一种负反馈映射,即输入越大,映射值越小,反之亦然。掩模将抑制具有高冗余的特征通道,并增强具有高独立性的特征通道。因此,我们选择使用该函数来生成用于特征融合的权重(α和β)
在这里插入图片描述3) Obtain the Fusion Feature f3:
我们通过以下等式得到融合特征f3在这里插入图片描述
通过α和β,我们可以基于f1、f2的相对冗余度进行有效的融合。

同一场景的PAN和MS图像内部一致但外部不同。同时,它们也存在着遥感图像中常见的地形尺度不均衡的问题。因此,我们提出了AWIHS策略和CAFF模块,以帮助减少数据差异并进行有效的多层次特征融合。通过AWIHS策略,PAN和MS之间的差异显著减小。从相关性的角度出发,我们认为特征的冗余部分属于共享的背景信息。CAFF模块可以增强特征的唯一性信息,抑制冗余信息,有效缓解特征融合过程中特征区分度降低的问题。由于融合是基于输入特征的二阶相关性,CAFF模块也能很好地继承输入特征的依赖关系。因此,我们的AHF-Net可以提高融合特征的区分度。

Construction of the AHF-Net

如图3所示,整个网络可以分为三个部分,其中图3(a)是AWIHS数据融合策略,图3(b)是用于提取特征的骨干网络,图3(c)是用于融合多级特征的融合网络。具体如下:
请添加图片描述
1) Data Fusion:
AWIHS算法用于减小PAN和MS图像之间的差异。该模块以原始MS和PAN图像为输入,经过AWIHS数据融合算法后输出融合图像MSfusion和PANfusion

2) Feature Extraction:
如图3(b)所示,两个分支的输入分别为MS和PAN patches,输出分别为f31和f32。两个分支的前两个Reslayers具有不同的下标,这表示它们的参数不共享。相比之下,第三个Reslayer的参数是共享的。我们认为浅层特征是图像的具体细节和表示信息的表达。即使在AWIHS数据融合后,图像细节的差异仍然存在。因此,我们使用没有共享参数的ResNet 块。随着网络的不断深入,提取的深层特征是一种高级语义特征。这些特征应该反映图像的本质一致性,因此我们使用具有共享参数的ResNet块。

3) Feature Fusion and Classification:
由于成像距离较远,不同类型的地形在PAN和MS影像上存在较大的尺度差异。这种固有特性会降低图像分类的准确性。由于深层网络逐层提取特征,因此这些特征具有固有的金字塔形状。其中,浅层特征具有丰富的纹理信息,而深层特征具有丰富的语义信息。 将这些不同级别的特征结合起来可以帮助我们提高分类的准确性。
不同层次特征融合的一般方法是逐元素添加或特征连接。在两种融合方法中,各特征通道的权值相同、所有特征通道的重要性是相同的。然而,在实际情况中,不同层次的特征对于最终的分类任务具有不同的重要性。基于此,我们将CAFF模块集成到FPN 中。根据特征通道之间的相关性来抑制或增强相应的通道。突出显示有利于分类的特征通道,提高分类精度。
多级融合网络的结构如图3(c)所示。在构造多层特征融合网络之前,首先利用CAFF对两个分支的特征进行融合。由于浅层特征是图像的具体细节和表示信息的表达,因此我们使用f21和f22作为第一级特征进行融合。融合特征f2可以表示如下:
请添加图片描述

其中α和β是融合系数。然后将融合后的特征(f2,f3)与f4组合形成一个三级特征金字塔网络。在融合之前,我们使用1 × 1卷积将f2和f3的通道数与f4的通道数相加。同时,我们使用上采样将f4的大小增加到f3,将f5的大小增加到f2。最后,利用CAFF对不同层次的特征分别进行融合。融合后的特征经过一个平均池层和多个全连通层后,最终估计出patches对的类概率。本文采用交叉熵误差作为最终损失函数,定义如下:请添加图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
很抱歉,根据您提供的引用内容,我无法直接回答您的问题。因为引用内容主要介绍了HCL和MSR810-W设备的相关信息,并没有提到如何基于ensp和gns3进行企业网络规划混合组网的内容。但是,我可以为您提供一些有关ensp和gns3的信息,希望能对您有所帮助。 首先,ensp是华为公司推出的一款网络仿真软件,可以模拟华为设备的各种功能和特性,支持多种协议和技术的仿真,如路由、交换、安全、QoS、MPLS等。通过ensp,用户可以在PC上搭建虚拟化的网络环境,进行网络拓扑设计、配置、调试和故障排除等操作。 其次,gns3是一款开源的网络仿***用户可以在PC上搭建虚拟化的网络环境,进行网络拓扑设计、配置、调试和故障排除等操作。 基于ensp和gns3进行企业网络规划混合组网,可以通过以下步骤实现: 1.设计网络拓扑,包括物理拓扑和逻辑拓扑,确定网络设备的数量、型号和位置,以及各个设备之间的连接方式和协议。 2.在ensp中创建虚拟网络设备,如路由器、交换机、防火墙等,根据设计好的拓扑进行配置和连接,模拟真实的网络环境。 3.在gns3中创建虚拟网络设备,如路由器、交换机、防火墙等,根据设计好的拓扑进行配置和连接,模拟真实的网络环境。 4.将ensp和gns3中的虚拟网络设备进行连接,实现混合组网,可以通过物理连接或者虚拟连接的方式进行。 5.进行网络测试和调试,验证网络的可用性和性能,排除故障和问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值