
语义分割
文章平均质量分 90
点PY
付费咨询、有偿辅导+扣扣1224425503
展开
-
如何微调Segment Anything Model
Segment Anything Model (SAM) 是由 Meta AI 开发的一种分割模型。它被认为是计算机视觉的第一个基础模型。SAM 在包含数百万图像和数十亿掩码的庞大数据集上进行了训练,使其非常强大。顾名思义,SAM 能够为各种图像生成准确的分割掩码。Sam 的设计允许它考虑人类提示,这使得它对于 Human In The Loop 注释特别强大。这些提示可以是多模式的:它们可以是要分割区域上的点、要分割对象周围的边界框或关于应该分割什么的文本提示。翻译 2023-04-18 10:53:48 · 6834 阅读 · 6 评论 -
基于边缘修复的图像分割论文简读
文章目录2016DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation2016DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation摘要: 腺体的形态已被病理学家常规用于评估腺癌的恶性程度。从组织学图像中准确分割腺体是获得可靠的形态学统计数据以进行定量诊断的关键步骤。在本文中,我们提出了一个有效的深度轮廓感知网络(DCAN)来解决这个在统一的多任务学习原创 2022-02-25 11:45:19 · 6216 阅读 · 0 评论 -
医学影像分割论文合集
文章目录2020Automatic Label Correction for the Accurate Edge Detection of Overlapping Cervical Cells2021Contour Proposal Networks for Biomedical Instance Segmentation2020Automatic Label Correction for the Accurate Edge Detection of Overlapping Cervical Cells原创 2022-02-24 16:48:01 · 1634 阅读 · 0 评论 -
交互式图像分割论文合集
文章目录2020Interactive Image Segmentation with First Click Attention(CVPR)2020Interactive Image Segmentation with First Click Attention(CVPR)code: https://github.com/frazerlin/fcanet摘要在交互式图像分割任务中,用户首先点击一个点对目标物体的主体进行分割,然后在错误标记的区域迭代提供更多的点,以实现精确的分割。现有的方法不加区原创 2022-01-04 21:48:26 · 3798 阅读 · 0 评论 -
PointRend相关论文集
文章目录2020A Cross Entropy Based Deep Neural Network Model for Road Extraction from Satellite Images(entropy)2021Progressive Semantic Segmentation(CVPR)2020A Cross Entropy Based Deep Neural Network Model for Road Extraction from Satellite Images(entropy)摘要原创 2021-12-11 17:59:32 · 2427 阅读 · 0 评论 -
Boundary IoU论文简读
论文:https://arxiv.org/pdf/2103.16562.pdf源码链接:https://github.com/bowenc0221/boundary-iou-api文章目录动机定义分割错误类别动机近年来,随着深度学习技术的进一步发展,实例分割算法的性能越来越优秀。实例分割算法的进步体现在AP指标的不断提升,但是这不等同于优化的算法对所有的“错误类型”都有改善。算法的优化一般是以增加评测指标值为目的,如果AP指标对某种错误类型敏感,那么基于该指标优化的算法能很好地解决该种错误类型;.原创 2021-08-07 08:38:04 · 710 阅读 · 4 评论 -
Polygon-RNN论文简读
paper文章目录前言模型结构CNNRNN实验结果总结前言Polygon-RNN是一篇收录于CVPR2017的论文,文中作者基于CNN+RNN提出了一种半自动目标实例标注的算法。当前大多方法都将目标分割视为像素级分类问题,而本文则将其看做多边形预测任务,以裁剪的目标图像作为输入,预测目标的多边形轮廓的顶点(假定使用者已提供目标的bounding box)。如下图所示:其半自动过程体现在,人工标注可以在任何时间干预系统的自动标注过程,并在需要修正的时间进行顶点修正。由于需要生成闭合的多边形,而闭合.原创 2021-07-11 11:09:34 · 843 阅读 · 0 评论 -
Polygon-RNN++论文简读
文章目录前言Polygon-RNN++架构基于强化学习训练试验结果前言标注图像中的物体掩码是一项非常耗时耗力的工作(人工标注一个物体平均需要20到30秒),但在众多计算机视觉应用中(例如,自动驾驶、医学影像),它又是不可或缺的。而现有的自动标注软件,大多基于像素,因此不够智能,特别是在颜色接近的相邻物体上表现不好。有鉴于此,多伦多大学的研究人员Lluís Castrejón等提出了Polygon-RNN标注系统,获CVPR 2017最佳论文提名。多伦多大学的研究人员David Acuna、Huan Li原创 2021-07-10 13:34:33 · 631 阅读 · 0 评论 -
弱监督之深度种子区域增长
paper:https://openaccess.thecvf.com/content_cvpr_2018/papers/Huang_Weakly-Supervised_Semantic_Segmentation_CVPR_2018_paper.pdfcode:https://github.com/terenceylchow124/DSRG_PyTorch文章目录摘要SEC原则DSRG方法介绍生成种子区域网络结构损失函数DSRG方法扩增种子区域如何扩展种子区域实验结果摘要本文研究了仅以图像级标签作.原创 2021-07-08 09:25:40 · 765 阅读 · 1 评论 -
Unsupervised image segmentation by backpropagation算法
文章目录1.算法主体2.算法理解3. 代码改进(仅针对运行效率,使运行时间缩短,不改变主体算法)4. 优化结果(迭代128次,40秒→4秒)5. 算法缺点1.算法主体无监督图像分割 Unsupervised image segmentation其中,Net() ,作者使用了一个全卷积网络,接受输入图片完成特征提取,这个网络由三层卷积网络组成,如下:原作者竟把ReLU放在了BN前,把线性整流放在批归一化前面,会影响BN对方差的调整。其中,PreSeg() ,(原文为 GetSuperPixe原创 2021-07-05 11:19:49 · 1434 阅读 · 2 评论 -
基于稀疏标签的遥感影像分割
code:https://github.com/Hua-YS/Semantic-Segmentation-with-Sparse-Labels文章目录摘要方法利用稀疏标签进行监督训练特征与空间关系正则化CRF用于边界细化摘要对于高分影像来说,训练卷积神经网络(CNNs)需要大量的高质量的像素级注释,这是非常费力和费时的生产。此外,专业的影像解译工程师可能必须参与进来,以保证注释的正确性。为了减轻这种负担,我们提出了一个基于不完整注释的航空图像语义分割框架,其中要求注释者用易于绘制的涂鸦标记几个像素。.原创 2021-07-01 23:36:03 · 1424 阅读 · 1 评论 -
TransUNet
文章目录1 摘要2.论文的贡献3 方法3.1 编码器Transformer3.2 TransUNet4 结论1 摘要医学图像分割是发展医疗保健系统,特别是疾病诊断和治疗规划的必要前提。 在各种医学图像分割任务中,U形体系结构,也称为U-Net,已成为事实标准,并取得了巨大的成功。 然而,由于卷积操作的内在局部性,U-Net通常证明了显式建模远程依赖的局限性。 变形金刚,设计用于序列到序列预测,已成为具有先天全局自我关注机制的替代架构,但由于低级别细节不足,可能导致有限的定位能力。在本文中,我们提出了T原创 2021-03-16 09:06:20 · 2856 阅读 · 1 评论 -
基于遥感影像的语义分割论文简读
文章目录2020ResUNet-a2020ResUNet-a摘要高分辨率航空图像的场景理解对于各种遥感应用中的自动化监测任务具有重要意义。 由于感兴趣对象像素值的类内和类间方差很大,这仍然是一项具有挑战性的任务。 近年来,深度卷积神经网络已开始应用于遥感应用中,并展示了图像像素级分类的最新性能。 在此,我们提出了一个可靠的框架,用于单时间非常高分辨率航空图像的语义分割。 我们的框架由一个新的深度学习体系结构ResUnet-a和一个基于Dice损失的新的损失函数组成。 Res UNet-a使用UNet原创 2021-03-10 10:03:56 · 3553 阅读 · 0 评论 -
Multiclass Weighted Loss for Instance Segmentation of Cluttered Cells
paper:https://xueshu.baidu.com/usercenter/paper/show?paperid=2d53a0ae06c78aadfd6808a3980616a3&site=xueshu_secode文章目录摘要方法Class augmentationFocus weightsAssigning touching pixels摘要我们提出了一种新的多类加权损失函数,例如杂乱细胞的分割。 我们的主要动机是发展生物学家需要量化和建模血液T细胞的行为,这可能有助于我们理解它们原创 2021-03-06 16:42:05 · 363 阅读 · 1 评论 -
语义分割新范式——像素对比学习
code:https://github.com/tfzhou/ContrastiveSegpaper:https://arxiv.org/pdf/2101.11939.pdf文章目录前言当前语义分割领域忽略了什么问题?无监督对比学习引发的思考基于 Pixel-Wise 交叉熵的经典语义分割损失函数有何问题?基于全监督、像素 - 像素对比学习的语义分割训练范式进一步探讨前言当前,语义分割算法的本质是通过深度神经网络将图像像素映射到一个高度非线性的特征空间。然而,现有算法大多只关注于局部上下文信息(单个原创 2021-03-05 16:38:04 · 5791 阅读 · 4 评论 -
Interactive Image Segmentation with First Click Attention简读
文章目录摘要论文的贡献方法摘要在交互式图像分割任务中,用户首先点击一个点对目标物体的主体进行分割,然后在错误标记的区域迭代提供更多的点,以实现精确的分割。现有的方法不加区别地对待所有的交互点,忽略第一次点击和其他点击之间的区别。在本文中,我们演示了第一次点击对于提供目标对象的位置和主体信息的关键作用。为了更好地利用这一特性,提出了一个名为First Click Attention Network (FCA-Net)的深度框架。论文的贡献这是演示第一次单击的关键作用的第一个工作。我们也提出一个FC原创 2021-02-24 21:48:57 · 1232 阅读 · 0 评论 -
语义分割模块PointRend
文章目录1.概述2.源码分析2.1 sampling_points2.2 point_sample2.3 PointHead2.4 loss2.5 模块组合3 实验结果参考paper: http://arxiv.org/abs/1912.08193code: https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend1.概述论文要解决的是图像分割质量问题,往往图像分割在物体边界处的分割质量很差,不能细致的原创 2020-11-27 21:08:41 · 1773 阅读 · 0 评论 -
语义分割网络的one-hot编码(pytorch)
import torchimport numpy as npgt = np.random.randint(0,5, size=[15,15]) #先生成一个15*15的label,值在5以内,意思是5类分割任务gt = torch.LongTensor(gt)def get_one_hot(label, N): size = list(label.size()) label = label.view(-1) # reshape 为向量 ones = torch.原创 2020-09-28 17:13:22 · 2945 阅读 · 0 评论 -
HRNet+OCR
code and paper : https://paperswithcode.com/paper/object-contextual-representations-for前言目前在Semantic Segmentation on Cityscapes test这个排行版中,排名第一的模型是这两个方法的结合。HRNetHRNet: Deep High-Resolution Representation Learning for Visual Recognition, CVPR 2019当前的语原创 2020-08-28 16:02:42 · 8098 阅读 · 3 评论 -
超大尺寸图像的深度学习模型预测方法
文章目录小尺寸图像输入大尺寸图像输入小尺寸图像输入一般的图像无需裁剪,便可输入模型,进行端到端的训练。它的预测过程也是比较简单的,以二分类为例,将模型输出的概率图通过一定的方法转化为二值图。有两种方法可实现上述过程,其一,若类别数包括背景类,利用argmax输出各维度相同位置处最大值,其二,若类别数不包括背景类,则利用sigmoid压缩其值至0-1之间,利用阈值法,一般为0.5,大于0.5为正类,小于0.5为背景类。net = torch.load('./model.pth', map_locatio原创 2020-06-16 16:05:26 · 4246 阅读 · 7 评论 -
图像分割技巧总结
前言一个经历了 39 场 Kaggle 比赛的团队在 reddit 上发帖表示,他们整理了一份结构化的图像分割技巧列表,涵盖数据增强、建模、损失函数、训练技巧等多个方面,不失为一份可以参考的图像分割技巧资料。图像分割是图像处理和计算机视觉的热点之一,是根据图像内容对指定区域进行标记的计算机视觉任务。它基于某些标准将输入图像划分为多个相同的类别,简言之就是「这张图片里有什么,其在图片中的位置是什...转载 2020-05-08 10:41:45 · 600 阅读 · 0 评论 -
语义分割之模型构建(pytorch)
前言语义分割是对图像进行逐像素级的分类任务。本博文将从经典的编解码结构来简单介绍模型的构建过程。在阅读本博文之前,最好熟悉卷积神经网络的基本组件,例如卷积、反卷积、batch_normalization、激活函数、dropout、图像插值等。U-Net模型架构上图为15年Ronneberger提出的网络模型U-Net,本文将介绍Res_U-Net,该模型是以Res-Net为编码器构建而成的...原创 2020-04-24 16:15:56 · 1420 阅读 · 0 评论 -
建筑物提取数据集
前言建筑物是人类社会生产、生活的主要载体,建筑物轮廓信息是国家基础地理信息的重要组成部分。相比于人工遥感解译与矢量化,结合算法模型从遥感影像中自动提取建筑物轮廓大大减少了人力物力的消耗。这在城市扩张研究、数字城市建设等领域有着广泛的应用。近年来,全卷积神经网络的不断发展为高精度自动化建筑物提取提供了新的方法。但是,由于建筑物在尺度,建筑风格,形态上有较大差异,目前高精度建筑物提取仍存在较大挑战...原创 2020-04-17 08:50:44 · 9251 阅读 · 4 评论 -
基于语义分割的常见精度评价指标(附python代码)
1.MIOUmIoU可解释为平均交并比,即在每个类别上计算IoU值(即真正样本数量/(真正样本数量+假负样本数量+假正样本数量))。def mean_iou(input, target, classes = 2): """ compute the value of mean iou :param input: 2d array, int, prediction :p...原创 2020-04-06 10:39:38 · 16974 阅读 · 10 评论 -
基于pseudo label的语义分割
1.引言在监督学习领域,人类已经取得了很大的进步,但这也意味着我们需要大量带标签的数据来训练模型,这些算法需要把这些数据扫描一遍又一遍来寻找最优模型参数。然而现实生产活动中,带标签的数据相对缺乏,海量的无标签数据没有得到充分利用,本篇博文将浅显的介绍下一种半监督方法——伪标签。2.什么是伪标签伪标签是将可靠的测试数据的预测结果添加到训练数据。伪标签的建立过程大概有五步:(1)利用训练数据建立...原创 2020-02-20 20:57:49 · 2044 阅读 · 2 评论 -
如何将nDSM等高程数据用于语义分割
前言当前基于深度学习的高分遥感影像分类方法存在以下问题:1.高分影像数据波段有限,光谱信息不丰富,在一定程度上限制了模型特征学习的丰富度,造成影像分类精度低;2.存在地物内部错分现象和地物边界残缺等问题。针对以上问题,本博文将介绍一种结合高程数据的语义分割方法。归一化数字表明模型(normalized digital surface model,nDSM)数据记录了所有高于地面的地物相对于地面...原创 2020-02-16 10:40:01 · 3909 阅读 · 27 评论 -
基于PyTorch的损失函数(语义分割)
前言这篇博文为一些常见的损失函数提供了参考,你可以很轻松的导入到代码中。损失函数定义了神经网络模型如何根据每回合的残差计算总体误差,这反过来又影响它们在进行反向传播时调整系数的方式,因此损失函数的选择直接影响模型的性能。对于分割和其他分类任务,默认选择的损失函数是二进制交叉熵(BCE)。当一个特定的度量,例如dice系数或IoU,被用来判断模型性能时,竞争对手有时会试验从这些度量派生出的损失...原创 2020-02-11 12:06:36 · 5241 阅读 · 3 评论 -
语义分割中的数据生成器dataloader(pytorch版)
数据集的基本结构可以参考官方文档 web documantation。主要有三个类:Dataset, Sampler and DataLoader。Dataset:代表数据集的抽象类;所有其他数据集都应该继承它。所有的子类都应该覆盖len(提供数据集的大小)和getitem(支持范围从0到len(self)的整形索引)。Sampler:所有采样器的基准类;每个采样器子类必须提供i...原创 2020-02-06 16:24:14 · 1887 阅读 · 0 评论 -
语义分割中的数据增强方法
语义分割中的数据增强方法为什么要使用数据增强?随机翻转随机旋转n*90°为什么要使用数据增强? 在实际生产项目中,我们通常都难以拥有充足的数据来完成任务,为了充分利用有限的数据,我们需要进行数据增强,使得少量数据产生的价值等价于更多数据的价值。在这篇博文中,将会简单介绍一些语义分割的数据增强方法并贴出源码。随机翻转 主要是三种选择,分别是水平、垂直和水平垂直翻转。 其效果如下图所示...原创 2020-02-06 13:06:38 · 8750 阅读 · 9 评论