近年来高光谱深度学习语义分割方法分类及代表性网络

已于 2024-06-02 20:12:53 修改
阅读量2k 收藏 33
点赞数 32
文章标签： 深度学习 分类 人工智能
于 2024-06-02 19:34:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52868077/article/details/139395828
版权

目录

一、卷积神经网络——光谱、空间、光谱-空间CNN

1. SSRN(Spectral-Spatial Residual Network)

2. HybridSN

3. A2S2K-ResNet

二、图卷积神经网络GCN

GCN(Graph Convolutional Networks for Hyperspectral Image Classification)

三、深度置信网络DBN

四、循环神经网络RNN

SRNN(Scalable Recurrent Neural Network)

五、生成对抗网络GAN(Generative Adversarial Network)

3D GAN

六、自注意力机制Transformer

1. SST(Spatial-Spectral Transformer)

2. SSFTT(Spectral-Spatial Feature Tokenization Transformer)

文中的所有引用量源自谷歌学术

文章代码均开源，可在github进行搜索

一、卷积神经网络——光谱、空间、光谱-空间CNN

       为充分利用高光谱图像在光谱维度上的信息，3D-CNN能够同时在空间和光谱维度上进行卷积操作，从而更好地捕捉高光谱图像中的光谱-空间特征。（这里的举例均为3D-CNN）

1. SSRN(Spectral-Spatial Residual Network)

高被引1000+

Zhong Z, Li J, Luo Z, et al. Spectral–spatial residual network for hyperspectral image classification: A 3-D deep learning framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 847-858.

2. HybridSN

高被引1000+

Roy S K, Krishna G, Dubey S R, et al. HybridSN: Exploring 3-D–2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(2): 277-281.

3. A2S2K-ResNet

引用283

Roy S K, Manna S, Song T, et al. Attention-based adaptive spectral–spatial kernel ResNet for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(9): 7831-7843.

二、图卷积神经网络GCN

GCN(Graph Convolutional Networks for Hyperspectral Image Classification)

高被引1000+

Hong D, Gao L, Yao J, et al. Graph convolutional networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(7): 5966-5978.

三、深度置信网络DBN

网络较老，暂不考虑。

四、循环神经网络RNN

       RNN及其变种（如LSTM和GRU）擅长处理序列数据，适用于捕捉高光谱图像光谱维度上的依赖关系。

SRNN(Scalable Recurrent Neural Network)

引用60

Paoletti M E, Haut J M, Plaza J, et al. Scalable recurrent neural network for hyperspectral image classification[J]. The Journal of Supercomputing, 2020, 76(11): 8866-8882.

五、生成对抗网络GAN(Generative Adversarial Network)

3D GAN

高被引2000+

Wu J, Zhang C, Xue T, et al. Learning a probabilistic latent space of object shapes via 3d generative-adversarial modeling[J]. Advances in neural information processing systems, 2016, 29.

六、自注意力机制Transformer

       近年来，Transformer模型在自然语言处理和计算机视觉领域表现出了强大的性能。高光谱图像语义分割也开始引入Transformer模型，如ViT（Vision Transformer），以捕捉全局光谱-空间特征。

1. SST(Spatial-Spectral Transformer)

引用250

He X, Chen Y, Lin Z. Spatial-spectral transformer for hyperspectral image classification[J]. Remote Sensing, 2021, 13(3): 498.

2. SSFTT(Spectral-Spatial Feature Tokenization Transformer)

引用396

Sun L, Zhao G, Zheng Y, et al. Spectral–spatial feature tokenization transformer for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-14.

Mamba中的Mamba：在标记化Mamba模型中的集中式Mamba跨扫描高光谱图像分类
AI浩
07-20 1962
高光谱图像（HSI）分类在遥感（RS）领域至关重要，尤其是随着深度学习技术的不断进步。顺序模型，如循环神经网络（RNNs）和Transformer，已被定制用于此任务，并提供了独特的视角。然而，它们面临几个挑战：1）RNNs在聚合中心特征方面存在困难，并且对干扰像素敏感；2）Transformer需要广泛的计算资源，并且在HSI训练样本有限时往往表现不佳。为了解决这些问题，最近的进展引入了状态空间模型（SSM）和Mamba，它们在线性序列处理中以其轻量级和并行扫描能力而闻名，从而在RNNs和Transfor
目标检测YOLO实战应用案例100讲-基于深度学习的水下图像增强及目标检测算法研究与应用（中）
qq_36130719的博客
04-28 955
和基于深度学习的方法CycleGAN[64]，UGAN[36]，Water-Net[42]，UWGAN[38]（underwaterGAN，水下GAN）和FUnIE-GAN[89]。图4-9为典型的水下色偏的图像，大多数增强方法对其颜色校正的效果有限。比较方法包括传统方法FE[12]，RB[16]，RCP[26]，UDCP[23]，IBLA[28]，Uhaze-line[30]，方法，图像复原方法：RCP[26]，UDCP[23]，IBLA[28]，和Uhaze-line[30]方法，以及基于。
高光谱分类深度学习DeepHyperX-master.zip
10-28
此内容包含高光谱遥感领域内 深度学习众多代码，包括1DCNN，2DCNN，3DCNN，等等各种神经网络模型代码，可以运行。欢迎大家相互学习！！！
高光谱遥感影像语义分割实验代码DeephyperX，内置多个公开数据集及多个前沿网络3D-CNN，2D-CNN，1D-CNN，并结合Visdom进行可视化。
hidyghet的博客
05-12 553
大小为610×340像素，剔除水汽影响波段后由103个光谱波段组成。该图像被分为9类，Undefined、Asphalt、Meadows、Gravel、Trees、Painted metal sheets、Bare Soil、Bitumen、Self-Blocking Bricks、Shadows。以PaviaU数据集，3D-CNN网络为例，对PaviaU数据集进行语义分割实验，1:1分割训练集与验证集，patch_size为7。训练10 轮后精度如上。
高光谱图像分类_DSSNet:用于高光谱图像分类的膨胀语义分割网络
weixin_39612499的博客
12-14 680
DSSNet: A Simple Dilated Semantic Segmentation Network for Hyperspectral Imagery Classifification论文地址：DSSNet: A Simple Dilated Semantic Segmentation Network for Hyperspectral Imagery Classification1、介...
高光谱图像分割
06-11
一个matlab的高光谱图像分割程序，程序没有错误直接运行就可以但是解释比较少
MATLAB环境下基于深度学习的多光谱图像语义分割
weixin_39402231的博客
10-08 2068
本文简要讲解如何训练U-Net卷积神经网络对7个通道的多光谱图像进行语义分割，7个通道包括3个颜色通道、3个近红外通道和一个掩模通道。需要使用具有计算能力3.0或更高版本的支持CUDA的NVIDIA™GPU（需要并行计算工具箱）。
高光谱分类项目：深度学习与遥感图像的新融合
gitblog_00080的博客
04-18 567
高光谱分类项目：深度学习与遥感图像的新融合 去发现同类优质开源项目:https://gitcode.com/ 是一个基于深度学习技术的高光谱图像分类项目，旨在为遥感数据处理提供强大而高效的解决方案。该项目结合了先进的计算机视觉和机器学习算法，利用丰富的光谱信息帮助我们更好地理解地表特征。 项目简介 高光谱成像技术可以捕捉到数百个不同波长的光谱数据，形成精细的光谱图像。这些图像包含丰富的地物信息，可...
（高光谱）数据集分割
ponytai1的博客
06-15 1244
从img_gt(存储一幅图像每个像素点的标签）中拆分出两部分：将矩阵分成两个相同矩阵，当中的非0部分按设定比例分到两个矩阵中 # output: # (array([ 1, 1, 1, ..., 609, 609, 609], dtype=int64), # array([ 96, 97, 115, ..., 270, 271, 278], dtype=int64)) indices = np.nonzero(ttt) # [(1, 96),(1, 97),(1, 115),(1, 171),
基于深度神经网络的高光谱影响分类方法研究---MNF+自动编码器+Softmax （准确率比较低，17年的论文）
liguandong
02-07 2552
论文地址基于深度神经网络的高光谱影响分类方法研究装备学院学报遥感影像分类的问题：预处理复杂，高维特征提取困难，分类不够精确等缺陷首先采用最大噪声分数来降低特征空间维度，然后将自动编码器与softmax多想逻辑回归分类器组合成含有多隐藏层的神经网络，对高光谱影像进行非监督型深度特征提取与分类。 0、引言高光谱影像分类问题：低空间分辨率导致混合像元现象、波段间高相似性导致Hughes现象、端元与光谱不...
自动驾驶深度多模态目标检测和语义分割:数据集、方法和挑战
weixin_43823175的博客
01-14 8138
自动驾驶深度多模态目标检测和语义分割:数据集、方法和挑战 原文地址：https://arxiv.org/pdf/1902.07830.pdf Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges 摘要 深度学习推动了自动驾驶感知技术的最新进展。为了实现鲁棒和准确的场景理解，自动驾驶汽车通常配备不同的传感器(如相机、激光雷达、雷达
基于深度学习的高光谱影像分类方法研究
05-03
基于深度学习的高光谱影像分类方法研究
零基础入门：Python与PyTorch深度学习全攻略丨迁移学习、循环神经网络、长短时记忆网络、时间卷积网络、生成对抗网络、YOLO目标检测算法、自编码器等原理及其PyTorch编程实现
weixin_46747075的博客
08-26 1007
掌握深度学习的基础理论及其在PyTorch中的实现方法，理解和掌握深度学习的基础知识，深入了解其与经典机器学习算法的区别与联系，并系统学习包括迁移学习、循环神经网络（RNN）、长短时记忆网络（LSTM）、时间卷积网络（TCN）、生成对抗网络（GAN）、YOLO目标检测算法、自编码器等前沿技术的原理及其PyTorch编程实现。
2024最新全流程Python编程、机器学习与深度学习
weixin_60784949的博客
07-31 1059
近年来，人工智能领域的飞速发展极大地改变了各个行业的面貌。当前最新的技术动态，如大型语言模型和深度学习技术的发展，展示了深度学习和机器学习技术的强大潜力，成为推动创新和提升竞争力的关键。特别是PyTorch，凭借其灵活性和高效性，成为科研人员和工程师的首选工具。
结合Transformer和多层特征聚合的高光谱图像分类算法
罗伯特技术屋
03-10 1379
换句话说，通过多种尺度的卷积核实现不同层次的特征提取，然后进行按元素相加，改善了不同特征图之间的交互作用，从而提高了网络的表达能力。因此，与其他仅使用卷积网络相比，所提出网络具有更大的感受野，这就使得获得特征更具上下文信息，丰富了特征的多样性。其中，最为经典的是，在人类的视觉中，由于机制信息处理的瓶颈，人类会有选择性的关注某一部分信息，人类视网膜不同的部位具有不同程度的信息处理能力。近年来，自注意力机制（此外，基于注意力机制的方法能够获取长远的依赖关系，得到全局的特征，所以广泛应用在高光谱图像分类中。
高光谱图像处理，使其适用于深度学习任务
qq_45809323的博客
09-10 2515
高光谱图像的处理涉及从降维、归一化等基础步骤，到图像块切割、数据增强等操作，最终通过深度学习模型进行检测。选择适合的模型架构、输入格式和后处理方法可以有效提高高光谱图像在深度学习任务中的表现。
基于卷积神经网络的高光谱分类 CNN（上）
JennyXi2001的博客
05-08 1714
下载Indian Pines数据集的纠正版本和地面真实值数据集!!# 安装Python库spectral，用于处理和分析遥感数据!
Matlab：利用1D-CNN（一维卷积神经网络），分析高光谱曲线数据或时序数据
学术的尽头是分享，技术的尽头是开源
02-01 9895
介绍关于1D-CNN的特点与应用，分享了不同结构的1DCNN，包含创建代买和训练代码。
多光谱遥感语义分割 代码复现
最新发布
03-01
### 多光谱遥感影像语义分割算法实现 针对多光谱遥感图像的语义分割，UHRSNet 是一种专门为超高分辨率图像设计的语义分割网络[^1]。该模型能够有效处理高分辨率下的细节特征提取问题。 对于少类别样本不平衡的情况，在训练过程中可以通过上采样的方式来增强稀有类别的表示能力[^2]： ```python import os from PIL import Image import numpy as np def upsample_labels(label, image_path, output_dir): # 定义需要上采样的类别ID列表 rare_classes = [5, 6, 7] # 判断当前标签图是否含有指定的稀有类别 contains_rare_class = any(cls_id in np.unique(label) for cls_id in rare_classes) if contains_rare_class: upsample_num = 2 base_name = os.path.basename(image_path).split('.')[0] for i in range(upsample_num): new_img_path = f"{output_dir}/{base_name}_up{i}.png" new_lbl_path = f"{output_dir}/{base_name}_label_up{i}.npy" img = Image.open(image_path) img.save(new_img_path) np.save(new_lbl_path, label.astype(np.uint8)) ``` 为了更好地适应多光谱数据的特点，通常会调整输入层以接收更多波段的信息。下面是一个简单的 PyTorch 版本的 U-Net 架构修改实例，用于支持四通道（RGB+NIR）的多光谱遥感影像作为输入： ```python import torch.nn as nn import torchvision.transforms.functional as TF class MultiSpectralUNet(nn.Module): def __init__(self, num_bands=4, out_channels=9): super(MultiSpectralUNet, self).__init__() # 修改初始卷积核数量以匹配输入波段数 self.inc = DoubleConv(num_bands, 64) ... # 后续编码器解码器结构保持不变 def forward(self, x): size = x.size()[2:] x1 = self.inc(x) ... # 使用自定义转换函数读取并预处理多光谱图片 def load_multispectral_image(file_path): bands_data = [] with rasterio.open(file_path) as src: for band_idx in range(1, src.count + 1): band = src.read(band_idx) bands_data.append(TF.to_tensor(band)) multispec_tensor = torch.cat(bands_data, dim=0) return multispec_tensor.unsqueeze(dim=0) if __name__ == "__main__": model = MultiSpectralUNet() test_input = load_multispectral_image('path_to_your_ms_image.tif') pred_mask = model(test_input) ``` 上述代码展示了如何构建一个多光谱版本的 UNet 来执行语义分割任务，并提供了加载多光谱 TIFF 文件的方法。通过这种方式可以有效地利用额外的光谱信息提高分类精度。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值