qq_43456016的博客

在论文绘图时，传统的二元语义分割结果图颜色单一（下图左），所以论文中常根据混淆矩阵类别使用多颜色进行绘制（下图右），可以看到，结果的可视化效果更好。

论文作者提出了RS-Mamba(RSM)用于高分辨率遥感图像遥感的密集预测任务。RSM设计用于模拟具有线性复杂性的遥感图像的全局特征，使其能够有效地处理大型VHR图像。它采用全向选择性扫描模块，从多个方向对图像进行全局建模，从多个方向捕捉大的空间特征。2D全向扫描机制是本研究的主要创新点。作者考虑到遥感影像地物多方向的特点，在VMamba2D双向扫描机制的基础上增加了斜向扫描机制。

三通道或单通道图像裁剪与拼接

使用训练好的MMSegmentation模型推理大尺度遥感影像（包含遥感影像裁剪和拼接代码）。模型推理部分采用的是MMSegmentation框架的模型，可根据自己的模型（如pytorch或tensorflow模型）情况修改该部分。

MMSegmentation模型训练结果进行批量推理测试及结果保存

由于SAM可以高效处理提示，可以通过在图像上抽样大量的提示来生成整个图像的mask。这种方法被用来生成数据集SA-1B。类实现了这个功能。它通过在图像上的网格中对单点输入提示进行抽样，从每个提示中SAM可以预测多个mask。然后，使用非极大值抑制对mask进行质量过滤和去重。其他选项允许进一步提高mask的质量和数量，例如在图像的多个裁剪上运行预测，或者对mask进行后处理以去除小的不连通区域和孔洞。

Segment Anything Model（SAM）根据指示所需的对象来预测对象掩码。该模型首先将图像转换为图像嵌入，从而可以从提示中高效地生成高质量的掩码。类为模型提供了一个简单的接口来提示模型。用户可以首先使用set_image方法设置图像，该方法会计算所需的图像嵌入。然后，可以通过predict方法提供提示，以从这些提示中高效地预测掩码。模型可以接受点和框提示以及先前迭代预测的掩码作为输入。

SAM的出现是否示意着传统CV行业的落寞？随着Chatgpt、扩散模型等产品出现，等成为了如今超级火热的话题。分割一切，Facebook利用超大数据集训练出来的SAM模型给CV界带来了巨大冲击，使得prompt engineering提示工程在CV领域同样得到发展应用，这也给我们众多计算机视觉研究者带来启发，基于大数据实现各类型场景视觉任务的可prompt模型，甚至统一视觉范式的终极大模型离我们越来越近。

【深度学习可视化系列]】—— CAM可视化(以语义分割网络为例，支持Vit系列主干网络的分割模型，支持GradCAM, GradCAMPlusPlus, LayerCAM等cam可视化方法)

分水岭算法将图像看作地理学中的地形表面，图像中的高灰度值区域被看作山峰，低灰度值区域被看作山谷。进而实现图像的分割。假如我们向“山谷”中注水，水位则会逐渐升高，然后不同山谷的水就会汇集在一起，如果我们阻止来自不同山谷的水汇集，我们需在水流可能交汇处建立堤坝，我们需要把图像分成两个不同的集合：集水盆地和分水岭线。我们建立的堤坝即是分水岭线，也即是对原图像的分割。但是由于图像中的噪声或任何其他不规则性，这种方法会造成过度分割的结果。所以OpenCV。