【论文阅读】基于双量程上下文聚合的遥感图像高效语义分割

最新推荐文章于 2024-06-04 15:48:09 发布
最新推荐文章于 2024-06-04 15:48:09 发布
阅读量276 收藏 1
点赞数 1
文章标签： 论文阅读 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_zyth/article/details/130912940
版权

【论文阅读】基于双量程上下文聚合的遥感图像高效语义分割

文章目录


Dual-Range Context Aggregation for Efficient Semantic Segmentation in Remote Sensing Images

摘要在遥感图像语义分割任务中引入自注意机制有利于建立远程依赖关系和挖掘全局上下文信息

轻量级的双范围上下文聚合网络(LDCANet)

双范围上下文聚合模块(DCAM)

对卷积和自关注获得的局部特征和全局语义上下文进行聚合

两个级联的线性层来实现，从而降低计算复杂度

基于多层感知器(MLP)的高效线性块(ELB)解码器

一、介绍

 
FCN被提出用于实现像素化预测和端到端语义分割训练

PSPNet提出了可变核大小的全局池化问题，以捕获不同区域的上下文信息

 

追求更轻量级的体系结构：

  • ENet[15]被提出通过压缩信道来减少网络参数。

  • 图像级联网络(Image cascade network, ICNet)[16]引入了级联特征融合来实现快速分割模型

     

卷积可以有效地捕获局部信息

语义分割依赖于对多层特征映射的远程建模

注意力机制具有捕获远程依赖关系和从整个图像建模全局信息的能力

 

一种自注意机制来捕捉图像的丰富对象上下文

作用：

  • DCAM将卷积和自关注获得的局部特征和全局语义上下文进行聚合
  • 多层感知器(MLP)的高效线性块(ELB)方法，对不同深度的信息进行聚合

二、相应模型


2.1 整体框架

LDCANet遵循简单而清晰的编码器-解码器结构

模型框架：

在这里插入图片描述

相应进行步骤：

  • 具有四层编码层的初始块组成
  • 编码层中都使用了有效的特征提取和增加特征维数
  • 最大池化层仅在前两编码层中使用，以减小特征映射的大小
  • 解码器中，提出的ELB将特征图上采样到原始分辨率的1/4
  • 初始块输出的前特征图连接
  • 拼接低分辨率特征图进行上采样

2.2 DCAM

DCAM被设计为以低计算成本集成局部和全局上下文信息

在这里插入图片描述

  捕获局部信息和探索全局上下文的功能解耦为两条路径，通过重加权和拼接操作，将每条路径提取的特征进行组合


上分支:

  • 逆瓶颈结构，
  • 减轻信息丢失和梯度混淆，
  • 采用两个深度可分离的卷积
    在这里插入图片描述

下分支：

  • 细化整个分支
  • 简化自我关注来捕获远程依赖关系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xB8PFUGi-1685257379050)(C:\Users\isipa\AppData\Roaming\Typora\typora-user-images\image-20230528145110305.png)]


  在结合方面，应用1 × 1卷积，然后进行批处理归一化来平衡特征的尺度。然后，我们将连接的特征集合在一起，计算一个权重向量，该权重向量可以重新加权特征，相当于特征的选择和组合。最后，采用通道洗牌操作增强融合特征的信息流交互

2.3 ELB模型


提出了仅由一个卷积层和几个MLP层组成的ELB

  由于编码器中的自注意机制可以带来更大的有效接受场，因此我们基于mlp的ELB足以用于语义分割任务中的全局推理

具体操作：

  • 第一个卷积层随后是批处理归一化和ReLU，用于对齐通道维度
  • 利用激活和转置操作的线性层，以更低的计算成本获得更好的分割结果
  • 最后一层将转置后的特征上采样到输入图像的1/4大小

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-no2qOVOe-1685257379050)(C:\Users\isipa\AppData\Roaming\Typora\typora-user-images\image-20230528145610394.png)]

三、实验结果


数据集：

  Vaihingen数据集由33个光谱波段(近红外，红色和绿色(IRRG))的图像组成。该数据集的地面采样距离(GSD)为9 cm，平均大小为2494 × 2064像素

  GID包含10幅RGB图像，大小为7200 × 6800像素，每张图像标记为15类土地利用类别


分割方案：

  • Vaihingen中15,1和17张用于训练，验证和测试的图像
  • GID分为三个部分，得到6个训练图像、2个验证图像和2个测试图像
  • 并将图像裁剪为512 × 512像素

评价指标：

  • 总体准确率(OA)
  • F1分数
  • mIoU


    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gtlWnXAL-1685257379051)(C:\Users\isipa\AppData\Roaming\Typora\typora-user-images\image-20230528150151276.png)]
川川子溢
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
基于STM32的自动量程电压表的设计方案
01-20
摘要：本文介绍了一种基于STM32的自动量程电压表的设计方案。方案中所设计的自动量程电压表能够的测量直流电压、交流电压，具有测量精度高，抗干扰能力强等特点。 　方案中的整个系统可以用一块9V电池供电，实现了...
武汉理工硕士论文-基于CPLDCCD的高精度小量程电子秤的研究与设计.pdf
11-24
武汉理工硕士论文-基于CPLDCCD的高精度小量程电子秤的研究与设计.pdf
基于级联式逆残差网络的遥感图像轻量目标检测算法
longtengzhangjie的博客
12-13 87
源自：电子学报 作者：陈立张帆郭威黄赟李继中 “人工智能技术与咨询” 发布 摘 要 遥感场景下的高实时目标检测任务具有重要的研究价值与应用意义. 针对当前遥感图像目标检测模型由于目标多角度、排列密集以及背景复杂从而导致检测速度慢的问题， 提出一种级联式逆残差卷积结构（Cascaded Inverted Residual Convolution， CIRC）. 该结构采用深度可分离卷积作为基本卷积单元， 快速提升模型计算能力；在此基础上， 通过转置通道矩阵与级联深度卷积， 并增加残
MobileNet-V2实现遥感土地利用图像识别
weixin_44095417的博客
12-20 563
此数据集公共领域图像的像素分辨率为 1 英尺（0.3 米），图像像素大小为 256*256，包含 21 个类别的场景图像共计 2100 张，其中每个类别有 100 张。这 21 个类别分别是：农业、飞机、棒球场、海滩、建筑物、树丛、密集住宅、森林、高速公路、高尔夫球场、港口、路口、中型住宅、移动家庭公园、立交桥、停车场、河、跑道、稀疏住宅、储油罐。划分完毕后，数据集分别保存在train、val、test三个文件夹内。首先我们可以对数据集进行划分，按训练集、验证集、测试集比例7：1.5：1.5进行划分。
上下文聚合网络用于遥感影像语义分割
Nick Blog
12-16 3146
Context Aggregation Network for Semantic Labeling in Aerial Images 摘要： 高分辨率航拍图像的语义标注是遥感图像分析的基本和必要任务。它广泛用于土地利用调查，变化检测和环境保护。最近的研究揭示了卷积神经网络（CNNs）在这项任务中的优越性。然而，多尺度物体识别和物体的精确定位是基于CNN的高分辨率航拍图像中语义标注方法的两个主要难题。为了解决这些问题，我们设计了一个用于聚合多个尺度的上下文信息Context Fuse模块，它由具有不同大小卷积
遥感影像语义分割论文笔记（一）FarSeg CVPR2020
qq_40905241的博客
04-18 8963
Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过 Euler integral Γ(z)=∫0∞tz−1e−tdt . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.
【论文-分割方法改进思路】机器学习顶会冠军图像分割算法深度解密
Everyday try to become better -Kobe Bryant
11-04 1381
分类任务只需要回答里面有几个类别，比如说人、树、草地、天空；这个描述很粗糙，一万个人有一万个哈姆雷特。语义分割是图像分类的扩展，是像素级别的。全景分割是语义分割+实例分割的结合。
vaihingen数据集、uavid数据集
pylyy的博客
07-06 1139
ISPRS、uavid数据集
【超分综述】
weixin_43690932的博客
01-13 1819
仅供自己参考
利用语义分割算法做指针式仪表的读数识别
Enigma_tong的博客
09-22 2346
第一步先打标，打标之前先安装labelme，这里我用的labelme版本是3.16.7 pip install labelme==3.16.7 然后在终端桥labelme 打开labelme的界面 如下： 把表盘的部分和指针的部分分别用pan和zhen来表示，我标注了1700多张图片数据，然后需要把json文件和图片整理成voc的数据格式。这是一段 json_data_label.py的文件，在很多github仓库中都能找到，我用的代码地址是这个github 代码如下： import argparse
基于铂电阻的宽量程高温度测量装置
01-20
摘要：-30-300℃是科学研究和工业生产常用的温度范围，在此范围内进行高精度温度测量一直是研究的热点问题。本文研究了一种新的以铂电阻Pt100 为温度传感器，采用分段和比例原理的高分辨率、高精度温度测量方法。...
电子测量中的基于STM32的自动量程电压表的设计方案
10-20
摘要：本文介绍了一种基于STM32的自动量程电压表的设计方案。方案中所设计的自动量程电压表能够精确的测量直流电压、交流电压，具有测量精度高，抗干扰能力强等特点。 　方案中的整个系统可以用一块9V电池供电，...
基于AT89C51单片机的量程自切换频率计设计
01-19
近年来，随着科学技术的快速发展，特别是类似单片机等相关集成电路生产技术的快速堀起，推动了仪器仪表及家电产业的快速发展，用程序代码来简化硬件电路的复杂程度，使其不断向着体积小，价格低廉，功能更加多样化、...
论文阅读 Explainable Image Similarity Integrating Siamese Networks and Grad-CAM
what_how_why2020的博客
06-03 689
给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 907
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
[论文阅读] ZeRo
最新发布
天下月色共三分的博客
06-04 271
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 886
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
Fully Convolutional Networks for Semantic Segmentation--论文笔记
dezwb的博客
05-31 1131
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
嵌入式基于stm32多量程电压表
11-05
嵌入式基于STM32的多量程电压表是一种用来测量电压的设备，它的特点是使用STM32作为主控芯片，通过嵌入式技术来实现多量程的功能。 首先，STM32是一款高性能的32位微控制器，具有丰富的外设接口和强大的计算能力，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值