论文阅读：Patch-Wise Semantic Segmentation for Hyperspectral Images via a Cubic Capsule Network with EMAP

论文阅读：Patch-Wise Semantic Segmentation for Hyperspectral Images via a Cubic Capsule Network with EMAP Features基于EMAP特征的立方体胶囊网络的高光谱图像分片语义分割

论文下载地址：https://www.mdpi.com/2072-4292/13/17/3497
发表时间：2021.9

摘要

卷积神经网络（CNN）在当前高光谱图像（HSI）分类、分割方法中存在无法识别空间对象的旋转，难以捕获精细的空间特征，主成分分析（PCA）保留少量成分时忽略一些重要信息的问题。在本篇论文中，提出了一种基于扩展多形态属性轮廓（EMAP）特征和立方胶囊网络（EMAP-Cubic-Caps）的HSI分割模型。EMAP特征可以有效地提取HSI中实体的各种属性轮廓特征，立方胶囊神经网络可以更详细地捕捉复杂的空间特征。首先，引入EMAP算法是为了提取主成分分析提取的主成分的形态学属性轮廓特征，并将EMAP特征图作为网络的输入。然后，利用立方体卷积网络提取HSI的光谱和空间下层信息，利用由初始胶囊层和数字胶囊层组成的胶囊模块提取HSI的高层信息。通过对三个著名的HSI数据集的实验比较，验证了该算法在语义分割方面的优越性。

引入

随着高光谱成像仪器的发展，研究人员可以获得具有高空间分辨率的HSIs，这使HSIs包含更有效的信息，从而为HSIs分割的发展提供了很大的便利。
传统的机器学习技术不能充分利用高光谱图像的深度特征信息，难以显著提高分类性能。
今天，深度学习技术发展迅速，是因为它能够独立提取丰富的深度特征。近年来，基于二维CNN的HSI分类/分割模型显著提高了分类精度，而二维卷积主要是提取空间信息，而忽略了光谱信息，为提高HSI分类的精度留下了空间。
基于三维卷积的CNN在高光谱图像分类中表现更好，与基于二维-CNN的方法相比，是一个很好的改进。这些基于3D-CNN的HSIs分类方法具有明显的优势，但当三维卷积核较大时，其像素信息的提取过于粗糙，容易导致特征丢失和信息表示不足。
胶囊网络(CapsNet)作为深度学习的一种新方法，由于应用了局部连接网络的思想，在有限样本下具有出色的特征提取能力。总之，胶囊网络可以弥补普通卷积神经网络的缺点，即难以提取更精细的空间光谱特征，因为胶囊网络使用向量来表示特征，而CNN使用数值来表示特征。此外，传统特征与深度网络相结合的方法逐渐受到关注，如基于3DGabor特征的CNN网络，可以比单一CNN网络提取更丰富的特征，从而提高HSI处理性能。理论上，只要深度和节点足够大，深度神经网络就可以适应任何非线性结构，但这将会带来许多问题，如网络不收敛或收敛太慢。为了缓解这一问题，将传统特征与深度神经网络相结合的方法已逐渐成为一条新的研究方向。
为了克服卷积神经网络的固有缺点，提取更丰富的空间光谱特征，本文采用一种具有扩展多形态特征轮廓(EMAP)特征的新型立方胶囊网络(称为EMAP-Cubic-Caps)对高光谱图像进行分类。首先，主成分分析(PCA)只能粗略地提取出图像的浅层特征，特别是当选择的主成分较少时，信息丢失严重，还带来了其他一些问题。本文利用EMAP特征从高光谱图像中提取复杂的空