- 博客(33)
- 收藏
- 关注
RSS订阅原创 LoveDA: 遥感土地覆盖数据集的领域自适应语义分割
引入了土地覆盖域自适应语义分割(LoveDA)数据集来推进语义和可转移学习。与现有数据集相比，LoveDA数据集包含两个领域(城市和农村)，这带来了相当大的挑战，因为:1)多尺度对象;3)不一致的类分布。LoveDA数据集既适用于土地覆盖语义分割，也适用于无监督域自适应(UDA)任务。因此，我们对LoveDA数据集进行了11种语义分割方法和8种UDA方法的基准测试。为了应对这些挑战，还开展了一些探索性研究，包括多尺度架构和策略、额外的背景监督和伪标签分析。
2024-07-09 10:05:48
532
原创 OpenEarthMap:全球高分辨率土地覆盖制图的基准数据集(开源来下载！！！)
ai[3]、AIRS[8]、GeoNRW[1]、HTCD[38]等数据集，基于源图像可再分发、地面采样距离(GSD)等于或小于0.5m、图像具有地理坐标信息的条件。如果有足够多的区域图像，我们以省或城市的尺度定义该区域，我们以1024×1024像素的大小采样该区域的50-70张图像。我们采用的每个数据集中的图像数量是根据拍摄图像的大陆和国家的多样性和平衡来确定的。对于现有数据集未覆盖的国家和地区，收集了这些国家或地区公开的航空图像，以减轻区域差距，这是大多数现有基准数据集存在的问题。
2024-07-07 20:37:36
546
原创 Rethinking Semantic Segmentation: A Prototype View 2022CVPR Oral
流行的语义分割方案的掩码解码策略（基于参数softmax或基于像素查询）视为可学习的类原型。本研究揭示了这种参数分割策略的几个局限性，并提出了一种基于不可学习原型的非参数替代方案。与之前的方法以完全参数化的方式为每个类学习单个权重/查询向量不同，我们的模型将每个类表示为一组、不可学习的原型，仅依赖于该类中几个训练像素的平均特征。这允许我们的模型通过优化嵌入像素和锚定原型之间的排列来直接塑造像素嵌入空间。它能够处理任意数量的类，具有恒定数量的可学习参数。图1所示。
2024-06-28 11:00:00
521
原创 GroupPrompter: A Prompting Method for Semantic Segmentation Based on SAM GroupPrompter:基于SAM语义分割提示方法
详情请看SEEM。
2024-06-26 11:00:00
622
原创 Segment Everything Everywhere All at Once同时分割所有地方的所有东西
具体来说，我们将所有的空间查询，即点、框、涂鸦和蒙版，通过汇集图像编码器中相应的视觉特征，将其编码为视觉提示，并使用文本编码器将文本查询转换为文本提示。如图(a)所示，输入图像I经过图像编码器提取图像特征Z，随后文本，视觉和记忆三种提示Pt，Pv，Pm与 Om（mask嵌入）和Och（类嵌入）交互，解码器基于查询输出的Omh和Och预测掩码M和语义C。最后，我们用单个预训练模型构建了一个分割接口，该接口可以用语义分割每个对象(一切)，覆盖图像中的每个像素(任何地方)，并支持所有可能的提示组合(一次全部)。
2024-06-25 11:00:00
1519
原创 通过提示大型基础模型（SAM）从高分辨率遥感影像中精确、自动地进行zero-shot湿地制图
我们使用正负提示点来激活湿地地区SAM的零射击能力。图3显示了我们挑选提示点的过程。使用10米ESA WorldCover 2020产品生成点。我们首先对土地覆盖产品进行矢量化，并计算每个多边形的面积。然后基于区域分层采样在每个水体和湿地多边形上生成点。具体来说，我们根据多边形的面积来确定要选择的点的数量，每100个面积单位有一个采样点。我们从现有的低分辨率土地覆盖产品中提取了一些负位置和正位置作为提示点，使SAM能够实现从高分辨率航空图像绘制湿地的能力，而无需手动注释和训练。提示符生成方法的流程。
2024-06-24 10:30:00
270
原创 TriangleConv:一种用于地图空间建筑形状识别的深度点卷积网络
本文提出了一种深度点卷积网络(deep point convolutional network, DPCN)来学习地图空间中建筑物的深度形状特征表征并进行形状识别。DPCN直接在建筑物的点上执行卷积，而不构建图并提取点的初始几何特征。设计了一个新的卷积算子TriangleConv来对点进行卷积。我们注意到，深度学习中的卷积操作可以被看作是接受域中一个点及其相邻点的特征的集合。因此，TriangleConv算子的主要思想是对一个点及其两个相邻点的特征进行聚合，生成该点的新特征。
2024-05-30 10:00:00
824
原创 基于序列深度学习模型的向量海岸线形状分类方法 2024.05
本文中提出了一个数据驱动的方法来分类的形状矢量海岸线，该方法利用基于序列的深度学习算法对海岸线矢量分段进行建模和分类。具体而言，首先将复杂的海岸线划分为一系列弯曲，并进一步提出了一组不同的特征来描述每个弯曲的形态特征。然后，将每个弯道的形态特征及其序列整合到一个LSTM中，最终进行海岸线分类。（五种海岸线）海岸线分段分类方法由以下几个部分组成:1)准备数据2)序列建模3)特征提取4)分类模型。
2024-05-29 10:00:00
661
原创 CVPR 小样本土地覆盖制图 张洪艳教授团队获挑战赛冠军
POP通过将正交性引入训练范式，确保了两阶段训练的不干扰。具体来说，对于来自只包含新类的验证集的每张图像，我们剪切补丁并将其粘贴到来自训练集的几张图像的相应区域上，并用验证集图像的标签替换这些训练集图像的基础真值标签。提出了一个广义的基于少镜头分割的框架，以更新高分辨率土地覆盖制图中的新类，分为三个部分:(a)数据预处理:对基础训练集和新类的少镜头支持集进行分析和扩充;随后，对每个单独网络计算的概率进行平均，从而确保在所有预测结果中保留高置信度的公共部分，并增强集成的性能，以优于最佳的单个基线模型。
2024-05-01 10:00:00
282
原创 从矢量数据中学习:增强基于矢量的形状编码和形状分类，用于地图泛化
（3）我们引入了一种替代方法，通过迭代地将当前最长的边缘与额外的顶点分开，直到目标到达顶点的数量，从而保持几何的原始形状 (见图3)。结构的特征描述了与几何图形的重要区域点(例如质心)相关的兴趣点周围的一般特征，同时使用与局部特征相同的特征计算。3描述几何整体结构的特征只计算一次，并将相同的值应用于几何的每个顶点。结构的特征描述了出现在某一点A及其相邻的B、C上的特征，它们之间的距离为k，形成三角形ABC。图2给出了编码工作流程的各个步骤，使用供选择的方法的编码工作流程的步骤和产生的编码序列。
2024-04-30 11:00:00
490
原创 TGRS 2023.11使SAM完美的无监督阴影检测
然后，我们设计一个标准来选择更好的:更准确的阴影区域应该包含更低的亮度和更弱的纹理信息。因此，我们计算这两个候选图像的光照和纹理得分，保留高的:score(y) = α·L(y) +(1−α)·T (y)利用传统的 USD 方法生成伪标签，然后利用提出的一种亮度和纹理引导更新 （ITU） 策略来提高伪蒙版的质量。我们的想法是保持初始的伪掩码，直到模型可以生成更好的掩码。这样，我们就可以逐步减轻“训练目标”中噪音标签的影响。3)两项有效的训练策略，包括基于itu的选择性自我培训和基于mdi的增量课程学习。
2024-04-29 11:30:00
221
原创 TGRS2023.11 RingMo-SAM:多模态遥感图像分割的基础模型
我们将一幅输入图像的多个提示框作为稀疏嵌入的一部分进行编码，多个盒子的编码是一个接一个完成的。对multiboxes中的每个box进行编码，首先将左上点和右下点作为两个平行的维度，对其进行归一化编码，然后对其进行高斯模糊编码，最后在高斯模糊编码的高维特征上添加额外的嵌入。多模态遥感图像中，地形类的像元比例远大于实例类的像元比例，会导致SAM学习优化不平衡，主要表现在实例类分割极差。将SAM的掩码解码器解耦为实例类别解码器和地形类别解码器，以便在训练过程中根据批次交替优化，以确保模型充分适合两种类型的数据。
2024-04-28 09:44:19
466
1
原创 TGRS 2023.12基于矢量多边形和深度学习的高分辨率遥感影像土地覆盖变化检测
其中y表示区域边界上的点和放置的种子点的坐标，x表示未放置的种子点的坐标。本研究提出一种有效的自动样本生成方法：利用超像素的质心作为样本裁剪的中心，并将其与矢量多边形中相应的地理位置和陆地类别信息相结合。1)初始化聚类中心:给定超像素K个数，迭代放置种子点，使每个种子点到区域边界和其他种子点的距离最大化，实现种子点在区域内的均匀放置。（C）采用改进的面向对象CNN (IOCNN)模型对超像素裁剪单元进行分类（略，就是细粒度的场景分类网络的训练和测试，前面讲了训练和测试数据的获取）。(d)变化检测和后处理。
2024-04-26 11:00:00
669
原创 TGRS 2023.11遥感预训练模型的再思考:基于实例感知的遥感场景分类视觉提示
然后，考虑到RS图像的显著可变性，我们引入了一个实例级提示生成模块，通过聚合来自输入的上下文信息为每个RS图像生成特定的提示。此外，由于RS图像中土地覆盖分布的复杂性，不同类别的场景可能表现出相似的特征，而同一类别内的场景也可能存在显著差异。我们的方法自适应地为每张RS图像生成特定的提示，并仅更新几个参数，将预训练的RS模型转移到不同的场景分类任务中。然后，考虑到RS图像的显著可变性，我们引入了一个实例级提示生成模块，称为Meta-Net，通过聚合来自输入的上下文信息为每个RS图像生成特定的提示。
2024-04-25 10:00:00
341
原创 SAM在低阶自适应航空土地覆盖分类中的应用2024.01
提出了一种新的语义分割模型，该模型结合了SAM的图像编码器和低秩自适应方法(LoRA)，用于航空图像的特征提取和微调。我们还使用了一个辅助CNN编码器来促进下游适应，并补充ViT编码器在密集视觉任务上的作用。此外，利用交叉注意来实现两个编码器之间的特征交互。最后，利用supernet头进行多尺度特征融合，生成分割蒙版。
2024-04-24 12:00:00
297
原创 使用卫星图像和部分道路地图进行道路提取TGRS2024.03
只在卫星分支中纳入了MP损失：MP损失有助于对缺失的道路像素赋予更多的权重，从而正确地提取出来，但同时，它会降低其他像素的权重，包括partial分支中道路地图中靠近道路的像素，从而导致一些潜在的错误分类。例如，靠近道路的像素倾向于被分类为道路像素(因为它们对应于卫星图像中的道路)，但它们对应的标签是背景像素(因为只有道路中心线上的像素被标记为道路像素，其他像素被标记为背景像素)。式中IMP为路线图的MP, IP为部分路线图，ΩMP为IMP的道路像素集，|·|为集合中元素的个数。MP损耗仅应用于卫星分支。
2024-04-22 16:24:47
1188
1
原创 利用 SAM模型从航空影像中自动提取zero-shot道路宽度
图5中的线形图表示了图4中对应航拍图像中OSM所示道路的位置，可以起到提示的作用。图5中的线预计将穿过第一列中的3个虚拟块，因此将根据其点提示选择3个点。（2）为宽度像素添加垂直线:在上一步中，将OSM线简化为离散像素列表，由该列表中任意两个连续像素组成的向量可以表示一小部分道路的位置和方向。V1由第一中点像素[0,228]和第二中点像素[1,230]组成，表示道路在点[1,230]处的方向。从向量 V2 延伸的线表示点 [1， 230] 处的道路宽度，在图 8 的混合图像中绘制为零宽度的红线。
2024-04-19 16:45:48
491
2
原创 CVPR SAM 利用弱监督自适应改进分布偏移下分割基础模型的泛化
Θa)，学生网络f(x;对于每个样本xi，我们将一个随机弱数据增强Aw(xi)作为锚点和教师网络的输入，并将一个随机强数据增强As (xi)作为学生网络的输入。对于编码器网络θ∈Rdi×do中的每个权值，我们使用低秩近似ω = AB，其中a∈Rdi×r, a∈Rr×do, r表示秩。这样有r(di+do)/di·do的压缩率，在适应期间，只有A和B通过反向传播更新，以减少内存占用。具体来说，如图3所示，我们首先根据每个实例在锚点和教师分支中的预测掩码，从特征图中裁剪出每个实例的特征I，然后计算损失。
2024-04-14 12:41:06
451
1
原创 ISPRS 2023.06移动和移除:使用图形卷积神经网络在矢量地图中构建简化的多任务学习
然而，GCN和GAT中节点特征的更新都依赖于整个图的邻接矩阵和度矩阵，这意味着整个图的结构（例如节点数量）与节点嵌入的生成密切相关，因此GCN和GAT在学习节点数量不固定的图的节点嵌入方面并不灵活。相应的层在图 3 中为蓝色。总结：给定一个来自源地图的多边形图𝐺及其特征矩阵𝑋，构建简化的问题是学习映射函数:𝑓(𝐺，𝑋)→𝑌{0,1,2}，其中𝑌{0,1,2}是一个包含三个元素的元组，表示从源构建到目标构建的节点操作，包括用于节点移除分类的三类标签，以及用于节点移动回归的沿前边和后边的数值移动距离。
2024-04-10 10:00:00
791
1
原创 Segment Anything Model for Road Network Graph Extraction道路网络图提取的任意分割模型
我们的方法直接预测大区域的图顶点和边，而不需要昂贵和复杂的后处理启发式，并且能够在几秒钟内构建跨越多平方公里的完整道路网络图。受基于学习的图预测的启发，我们开发了一个基于transformer的图神经网络作为我们模型的第二阶段。具体来说，对于给定的源顶点，在半径为Rnbr的范围内，最多可以找到Nnbr个最近的顶点。使用的数据集中的卫星图像覆盖了4平方公里的大正方形区域，因此我们将RGB图像、ground-truth mask和图形随机裁剪成更小的patch，以获得更多的训练样本并保持内存消耗可控。
2024-03-29 10:45:31
1030
1
原创 CVPR：没有精确指导的学习:从低分辨率历史标签更新大规模高分辨率土地覆盖图
在上采样过程中，每个阶段的输出特征与预编码的特征相连接，将大量的局部上下文信息带到最终的特征映射中。3×3和5×5的核捕获必要的周围信息。预测(2)作为框架的最终输出，从CNN和Transformer分支的连接特征图中进行分类，表示为Y”。对于CNN分支，我们使用由3 × 3卷积层构建的分类器，基于提取的HR特征映射生成原始预测(1)。该框架仅以HR图像和LR标签作为训练输入，包括三个组成部分:(a)基于cnn的分辨率保持分支，(b)基于变压器的全局建模分支和(c)伪标签辅助训练(PLAT)模块。
2024-03-08 15:54:27
652
1
原创 基于先验知识集成的遥感图像语义分割方法RSAM-Seg
在高频特征(HFC)部分，提取图像的HFC，然后将其作为提示输入到编码器中。对编码器的ViT块进行修改，在内部加入Adapter-Scale，在ViT层之间嵌入Adapter-Feature，提取图像信息。Adapter-Scale是在多头注意力中，Adapter-Feature是在ViT块之间。在SAM的编码器部分的多头注意块中，提出了一组补充的缩放模块Adapter-Scale。此外，Adapter-Feature被插入到ViT块之间，旨在整合高频图像信息和图像嵌入功能，以生成图像信息提示。
2024-03-04 11:15:52
1183
1
原创 基于SAM的光学遥感影像与地图数据变化检测
如图1-(b)所示，我们可以使用OSM数据的背景实例来指导SAM的分割，这些实例可以从OSM数据的图例中获得，以框或掩码提示的形式。随后，为了从获得的分割图和实例图中检测土地覆盖的变化，我们认为如果发生变化事件，两个土地覆盖对象应该具有不同的形状。具体来说，对于OSM数据中的每个实例，我们在分割映射中找到与之有交集的所有掩码，并从实例中心向外迭代地合并这些掩码。第一种在一般情况下检测土地覆盖的变化，而第二种战略的目标是检测在背景下出现的新的土地覆盖物体。(b)根据实例地图提示检测土地覆盖的变化。
2024-02-25 15:50:23
719
1
原创 UV-SAM: 调整SAM的城中村识别
因此，作者将具有大量冻结参数的SAM视为通才类别无关分割的通用模型，并开发一个具有有限可学习参数的语义分割模型作为城市村庄识别的专家模型，其中专家模型在通用模型生成提示的同时自动生成专家模型的提示，通用模型反过来更新专家模型的参数。首先，UV-SAM开发了一个类似于SegFormer的小型语义分割模型，用于为城市村庄生成粗略的分割Mask，在此基础上生成城中村的掩码提示和框提示。此外，设计了一个提示混合模块来将这四种提示类型融合在一起，并将生成的城市村庄提示向量输入到SAM中进行城市村庄特定的分割。
2024-01-29 12:00:00
527
原创 TIME TRAVELLING PIXELS:时间旅行像素:将双时特征与遥感图像变化检测的基础模型相结合
这篇论文也是将SAM与RS结合的文章，TIME TRAVELLING PIXELS名字也很有意思。我们引入了时间旅行像素(TTP)，一种将SAM基础模型的潜在知识集成到变化检测中的新方法。该方法有效地解决了一般知识转移中的领域转移问题，以及多时间点图像同质和异质特征表达的难题。具体来说，TTP在SAM中引入低阶微调参数，减轻了空间语义的域漂移。此外，TTP提出了一个时间旅行激活门，允许时间特征渗透到像素语义空间，从而使基础模型具备理解双时间图像之间的同质性和异质性特征的能力。
2024-01-27 12:00:00
540
2
原创 SAM+RS：基于大视觉模型的遥感图像自引导少镜头语义分割
这种方法的基础是一种创新的自动提示学习技术，它利用先前的引导蒙版为SAM生成粗糙的像素级提示，绕过了需要密集的手动指导。为了方便解释，在下面公式中，用下面符号表示：训练数据集表示为D = {I, T}，支持集表示为Ds = {Is, T}，查询集表示为Dq = {Iq, Tq}，其中I表示图像，T真值。通过将中间查询特征EM(IQ)与像素级先验引导信息P串联，生成新的查询特征，有效地将支持信息与先验信息相结合，增强了分割效果。，可以考虑参考，其余感觉就是魔改炼丹，没必要学。
2024-01-25 12:00:00
667
1
原创 SAM+RS：ClassWise-SAM-Adapter: 微调SAM适应SAR域的语义分割
ClassWise-SAM-Adapter (CWSAM)设计用于在星载合成孔径雷达(SAR)图像上对SAM进行土地覆盖分类。提出的CWSAM冻结了SAM的大部分参数，并结合轻量级adpter进行参数高效微调，并设计了一个分类掩码解码器来实现语义分割任务。这种自适应调整方法可以有效地对SAR图像进行土地覆盖分类，平衡精度和计算需求。此外，任务特定输入模块通过基于mlp的层注入SAR图像的低频信息，提高模型性能。
2024-01-23 12:00:00
1913
1
原创 SAM+RS：Segment anything, from space?
在这项工作中，我们研究了最近提出的分割任何模型(SAM)是否可以很好地推广到涉及俯视图像的任务。我们在8个数据集上对SAM进行了评估。对于每个基准测试，我们研究了SAM在两个重要的潜在应用场景中的性能:模型组合(COMP)和交互式分割(INTER)。
2024-01-21 12:00:00
810
1
原创 SAM+RS：SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraint
上图表明，c:samg - generated Object (SGO)和d:samg - generated Boundary (SGB)可以提供详细的对象和边界信息。为了充分利用它们的潜力，同时尽量减少对一般语义分割模型的修改，我们提出了一种新的损失函数，即对象一致性损失，并进一步引入边界保留损失来帮助模型训练。这个方法不需要对语义分割模型、训练策略或伪标签生成进行特定设计，只需要添加两个新的损失函数。这是在不依赖语义信息的情况下实现的，主要关注两个关键的角度:对象和边界。
2024-01-19 12:13:26
581
1
原创 Breaking the resolution barrier(ISPRS)突破分辨率障碍:使用低分辨率标签进行大规模高分辨率土地覆盖制图的低到高网络
本文提出了一种低到高网络(L2HNet)，仅以低分辨率的土地覆盖产品作为训练标签，从高分辨率图像自动生成高分辨率的土地覆盖地图。首先，为了获得具有丰富细节的映射结果，我们提出了一种包含并行多尺度卷积层的分辨率保持(RP)骨干结构，用于提取图像的高分辨率特征;此外，为了解决分辨率不匹配引起的标签噪声问题，设计了一个自信区域选择(CAS)模块和一个低到高(L2H)损失函数，采用弱和无监督策略，从粗标签中获得可靠的监督信息。
2023-12-18 15:59:06
1065
2
原创 PolyCity：高分辨率遥感影像多边形建筑分割的联合语义-几何学习，Joint semantic–geometric learning for polygonal building
对于一个属于边缘E(j)的像素i，其方向角的方向值由边缘E(j)的法向量决定，表示为𝑁(𝐸𝑗)。如图3所示，VRN包含两个主要组成部分:(1)基于resnet的骨干网络，用于顶点嵌入，提取输入图像和顶点的特征，进行进一步的顶点校正;首先，我们通过密集采样提取分割掩码轮廓上的像素坐标，并选择边界预测概率大于给定阈值𝑡𝑏𝑜𝑛的像素坐标，构成一组初始顶点C={𝑐0，𝑐1，𝑐2，…(2)简单而有效的顶点选择模块(VSM)，该模块通过将分割图转换为有效的多边形顶点，有效地弥合了基于像素和基于图的模型之间的差距;
2023-12-15 16:11:32
1079
原创 2024——Knowledge evolution learning: 弱监督网络用于高分土地覆盖分类
KE-WESUP主要包括三个任务:(1)提取LLC知识。采用基于超像素的训练方法，缓解LCP与HR图像的不一致性，直接从LCP中学习LLC知识。(2) HLS知识的自动探索。提出了一种动态标签优化策略，以获得少量高置信度的点标签，并通过知识探索机制鼓励模型自动挖掘HLS知识，从而促使模型适应复杂的hr场景。(3) LLC和HLS知识的动态交互。采用一致性正则化方法来实现LLC和HLS知识的进一步优化和验证。我的总结：（创新点论文思想是知识可以进化，可以从最初的低分辨率知识进化到高分辨率水平知识。
2023-12-09 16:39:37
884
原创 SAM（Segment Anything ）推荐你读的几个理由
例如，当前的图像识别、分割研究存在的一个问题是，当识别的粒度增加时，识别的确定性必然下降，也就是说，粒度和确定性是冲突的。总的来说，这篇论文提出的SAM是一个强大的图像分割基础模型，它具有出色的性能和灵活性，通过使用不同的提示和迁移学习，它可以应用于各种图像分割任务，如物体检测、语义分割和实例分割等。许多研究人员认为这是计算机视觉领域的GPT-3时刻，因为SAM已经学会了物体是什么的基本概念，甚至对未知的物体以及在不熟悉的场景（如水下、细胞显微镜）也能做到较好的效果，并展示了作为CV基本模型的巨大潜力。
2023-10-08 19:08:43
128
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人