语义分割
文章平均质量分 93
计算机视觉——语义分割
Nick Blog
这个作者很懒,什么都没留下…
展开
-
Maskformer
TitlePer-Pixel Classification is Not All You Need for Semantic SegmentationPaperhttps://arxiv.org/pdf/2107.06278.pdfCodehttps://github.com/facebookresearch/MaskFormer1. Motivation目前语义分割大多被看做是一个像素级别的分类任务,而实例分割确是一个mask级别的分类任务。虽然都是分割任务,但是他们...转载 2022-05-09 15:23:45 · 629 阅读 · 0 评论 -
DeepStrip: High Resolution Boundary Refinement——论文阅读
TitleDeepStrip: High Resolution Boundary Refinement地址https://arxiv.org/abs/2003.11670摘要在本文中,我们的目标是在给定低分辨率mask的情况下细化高分辨率图像的边界。 为了提高存储和计算效率,我们建议将感兴趣区域转换为带状图像,并在带状域中计算边界预测。 为了检测目标边界,我们提出了具有两个预测层的框架。 首先,将所有潜在边界作为初始预测进行预测,然后使用选择层选择目标边界并平滑结果。 为了促进...原创 2020-10-11 21:28:54 · 1524 阅读 · 0 评论 -
SegFix: Model-Agnostic Boundary Refinement for Segmentation 论文阅读
TitleSegFix: Model-Agnostic Boundary Refinement for Segmentation标题SegFix: 与模型无关的边界优化pdfhttps://arxiv.org/pdf/2007.04269v1.pdfcodehttps://github.com/openseg-group/openseg.pytorch摘要我们提出了一种与模型无关的后处理方案,以提高由任何现有分割模型生成的分割结果的边界质量。基于经验观察的结果...原创 2020-07-13 11:06:14 · 5889 阅读 · 4 评论 -
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation——论文阅读理解
TitleGated-SCNN: Gated Shape CNNs for Semantic Segmentation标题Gated-SCNN: 门控形状CNN用于语义分割pdfhttps://arxiv.org/pdf/1907.05740.pdfcodehttps://github.com/nv-tlabs/GSCNN摘要当前用于图像分割的最新方法形成了密集的图像表示,其中颜色,形状和纹理信息都在CNN中一起处理。然而,这可能并不理想,因为它们包含与识别有关...原创 2020-06-03 17:34:12 · 1382 阅读 · 3 评论 -
Multi-GPU下的Batch normalize跨卡同步
1. 为什么要跨卡同步 Batch Normalization现有的标准 Batch Normalization 因为使用数据并行(Data Parallel),是单卡的实现模式,只对单个卡上对样本进行归一化,相当于减小了批量大小(batch-size), 若不进行同步BN,moving mean、moving variance参数会产生较大影响,造成BN层失效。对于比较消耗显存的训练任务时,往往单卡上的相对批量过小,影响模型的收敛效果。 在图像语义分割的实验中,使用大模型的效果反而变差,实际上就是BN在原创 2020-12-17 09:26:51 · 581 阅读 · 1 评论 -
LEDNET论文阅读
LEDNET 用于语义分割的轻量级编码器解码器网络LEDNET A LIGHTWEIGHT ENCODER-DECODER NETWORK FOR REAL-TIME SEMANTIC SEGMENTATION论文地址github代码1. 摘要算力负担限制了移动设备中CNN在密集估计任务中的使用。在本文中,我们提出了一个轻量级网络来解决这个问题,即 LEDNet,它采用非对称(asymmetric)编码器 - 解码器架构来进行实时语义分割。更具体地说,编码器采用 ResNet 作为骨干网络,其中原创 2020-12-17 09:27:01 · 432 阅读 · 0 评论 -
语义分割训练与优化技巧
1. 数据预处理1.1 数据增强1.1.1 几何增强原图:image = cv2.imread('image.png')gt = cv2.imread('label.png', 0)水平翻转: 水平镜像图像有助于增加方向的不变性(例如,行人可以以不同的方向出现)。在自然场景下,不建议垂直翻转,因为物体的垂直外观在场景中增加了重要的一致性(例如,网络知道天空是由它的位置决定的),但是像遥感图像这种俯瞰图,是可以垂直翻转的。image_flip = cv2.flip(image, 1) #原创 2020-12-17 09:27:09 · 3080 阅读 · 0 评论 -
形状可变的上下文用于语义分割
Semantic Correlation Promoted Shape-Variant Context for Segmentation摘要上下文是语义分割的基础。由于物体形状的多样性及其在各种场景图像中的复杂布局,不同物体的空间尺度和上下文形状有很大的变化。因此,从预定义的固定区域聚合各种上下文信息是无效的。在这项工作中,我们提出为每个像素生成一个尺度和形状变化的语义掩码来限制其上下文区域。为此,我们首先提出了一种新颖的成对卷积算法来推导出对的语义相关关系,并在此基础上生成形状掩码。利用上下文区域的推原创 2020-12-15 21:07:26 · 994 阅读 · 0 评论 -
语义分割损失函数总结
总结来说,交叉熵平等对待每个像素,加权交叉熵更关注少样本类别,focal loss更加关注难分样本,dice loss和iou loss更加关注TP,平等对待FN和FP,tversky loss除过TP外,更加倾向于关注FN1. 交叉熵(Cross Entorpy)图像分割中最常用的损失函数是逐像素交叉熵损失。该损失函数分别检查每个像素,将类预测(softmax or sigmoid)与目标向量(one hot)进行比较。1.1 理论指导二分类: 二分类最终模型采用sigmoid激活函数,最后一层仅原创 2020-12-15 21:07:44 · 9772 阅读 · 0 评论 -
DANet(双重注意力融合网络)
原文地址:Dual Attention Network for Scene Segmentation源代码pytorch:https://github.com/junfu1115/DANet/复现代码keras:https://github.com/niecongchong/DANet-kerasAbstract提出了双重注意网络(DANet)来自适应地集成局部特征和全局依赖。在传统的扩张FCN之上附加两种类型的注意力模块,分别模拟空间和通道维度中的语义相互依赖性。位置注意力模块通过所有位置处的原创 2020-12-15 21:09:01 · 24769 阅读 · 2 评论 -
超像素采样网络(英伟达)
Superpixel Sampling Networks摘要超像素为图像数据提供了一种高效的低/中层次的表示,大大减少了后续视觉任务的图像基元数量。现有的超像素算法是不可微的,这使得它们很难集成到其他端到端可训练的深度神经网络中。我们开发了一种新的超像素采样可微模型,利用深度网络学习超像素分割。所得到的超像素采样网络(SSN)是端到端可训练的,允许学习任务特定的超像素,具有灵活的损失函数和快速的运行时间。大量的实验分析表明,SSNs不仅在传统的分割基准上优于现有的超像素算法,而且可以学习超像素用于其他任原创 2020-12-16 12:43:25 · 2285 阅读 · 0 评论 -
超像素池化全监督语义分割
Efficient semantic image segmentation with superpixel pooling摘要在这项工作中,我们评估了超像素池化层在深层网络结构中用于语义分割的应用。超像素池化是一种灵活有效的方法,可以替代其他包含空z间先验信息的池策略。我们提出了一个简单而高效的gpu层实现,并探讨了几种将该层集成到现有网络架构中的设计。我们在IBSR和Cityscapes数据集上提供了实验结果,表明可以利用超像素池化以最小的计算开销持续提高网络精度。源代码可从https://githu原创 2020-12-16 12:43:39 · 1752 阅读 · 0 评论 -
超像素池化弱监督语义分割
Weakly Supervised Semantic Segmentation Using Superpixel Pooling Network摘要我们提出了一种基于深度神经网络的弱监督语义分割算法,该算法仅依赖于图像级别标签。所提出的算法在生成分割注释和使用生成的注释学习语义分割网络之间交替。在该框架中成功的关键决定因素是仅在给定图像级标签的情况下构建可靠的初始注释的能力。为此,我们提出了超像素合并网络(SPN),它利用输入图像的超像素分割作为池化层,以反映用于学习和推断语义分割的低级图像结构。然后,原创 2020-12-16 12:43:54 · 2125 阅读 · 1 评论 -
HRNetv2阅读笔记
High-Resolution Representations for Labeling Pixels and Regions摘要高分辨率表示学习在许多视觉问题中起着重要作用,例如姿势估计和语义分割。最近开发用于人体姿态估计的高分辨率网络(HRNet)[91]通过并行连接高到低分辨率的卷积在整个过程中保持高分辨率表示,并通过反复进行平行的卷积融合产生高分辨率表示。在本文中,我们通过引入简单而有效的修改并将其应用于广泛的视觉任务,对高分辨率表示进行了进一步的研究。我们通过聚合来自所有并行卷积的(上采样)原创 2020-12-16 12:44:07 · 750 阅读 · 0 评论 -
上下文聚合网络用于遥感影像语义分割
Context Aggregation Network for Semantic Labeling in Aerial Images摘要:高分辨率航拍图像的语义标注是遥感图像分析的基本和必要任务。它广泛用于土地利用调查,变化检测和环境保护。最近的研究揭示了卷积神经网络(CNNs)在这项任务中的优越性。然而,多尺度物体识别和物体的精确定位是基于CNN的高分辨率航拍图像中语义标注方法的两个主要难题。为了解决这些问题,我们设计了一个用于聚合多个尺度的上下文信息Context Fuse模块,它由具有不同大小卷积原创 2020-12-16 12:44:17 · 3294 阅读 · 1 评论 -
级联卷积语义分割&姿态估计两篇
Semantic Labeling in Very High Resolution Images via A Self-Cascaded Convolutional Neural Network & Cascaded Pyramid Network for Multi-Person Pose Estimation摘要城市超高分辨率(VHR)图像的语义标注在遥感的广泛应用中具有重要意义。然而,许多令人困惑的人造物体和错综复杂的精细结构物体使其很难获得一致和准确的标记结果。针对这一具有挑战性的任务,原创 2020-12-14 00:59:03 · 1439 阅读 · 0 评论 -
DenseASPP阅读笔记
摘要:语义图像分割是自动驾驶中的基本街道场景理解任务,其中高分辨率图像中的每个像素被分类为一组语义标签。与其他场景不同,自动驾驶场景中的对象表现出非常大的尺度变化,这对于场景中的高层特征表示提出了巨大的挑战,多尺度信息必须被正确编码。为了解决这个问题,引入了空洞卷积卷积来生成具有更大感受野的特征而不牺牲空间分辨率。建立在空洞卷积的基础上,ASPP用来串联多个具有不同扩张率的扩张卷积特征来生成最终的特征表示。虽然ASPP能够生成多尺度特征,但是我们认为尺度轴上的特征分辨率对于自动驾驶场景来说不够密集。因此,原创 2020-12-14 00:56:40 · 5608 阅读 · 4 评论 -
HRNet阅读笔记及代码理解
摘要:大多数现有方法从由高到低分辨率网络产生的低分辨率表示中恢复高分辨率表示。相反,本文在整个过程中保持高分辨率的表示。我们将高分辨率子网开始作为第一阶段,逐步添加高到低分辨率子网以形成更多阶段,并行连接多个子网,每个子网具有不同的分辨率。我们进行重复的多尺度融合,使得高到低分辨率表示可以重复从其他分辨率的表示获取信息,从而导致丰富的高分辨率表示。因此,预测的关键点热图可能更准确,空间更精确。1. 简介1.1 现有方法(a) 对称结构,先下采样,再上采样,同时使用跳层连接恢复下采样丢失的信息;原创 2020-12-14 00:28:55 · 2959 阅读 · 1 评论 -
Beyond Fixed Grid: Learning Geometric Image Representation with a Deformable Grid——论文阅读
TitleBeyond Fixed Grid: Learning Geometric Image Representation with a Deformable Grid题目超越固定网格:基于可变形网格学习几何图像表示地址http://xxx.itp.ac.cn/abs/2008.09269代码https://github.com/fidler-lab/deformable-grid-release摘要在现代计算机视觉中,图像通常表示为具有一定步幅的固定均匀网...原创 2020-10-09 23:58:22 · 666 阅读 · 0 评论 -
MSeg: A Composite Dataset for Multi-domain Semantic Segmentation——论文翻译
TitleMSeg: A Composite Dataset for Multi-domain Semantic Segmentation标题MSeg:用于多域语义分割的复合数据集pdfhttp://vladlen.info/papers/MSeg.pdf评价没有提出新的模型或者损失函数什么的;工作量大,将几个语义分割数据集合并,需要合并或者拆分类,进而联合训练;可想而知,联合训练结果不会比单独训练效果好;奈何文中说你看我在这几个测试数据集上的平均值,要比你单独训练的模...原创 2020-05-27 21:07:34 · 1599 阅读 · 0 评论 -
Unified Perceptual Parsing for Scene Understanding(UPerNet)
TitleUnified Perceptual Parsing for Scene Understanding标题统一感知解析网络用于场景理解pdf地址https://arxiv.org/pdf/1807.10221.pdf摘要 人类对世界的视觉理解是多层次的,可以轻松分类场景,检测其中的物体,乃至识别物体的部分、纹理和材质。在本文中,旷视科技提出一种称之为统一感知解析(Unified Perceptual Parsing/UPP)的新任务,要求机器视觉系统从一张图像...原创 2020-05-09 17:01:29 · 3291 阅读 · 0 评论 -
Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation——翻译
TitleSpatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation标题空间信息引导的卷积用于实时RGBD语义分割pdfhttps://arxiv.org/pdf/2004.04534v1.pdf摘要 已知3D空间信息对于语义分割任务是有益的。大多数现有方法都...原创 2020-04-22 17:24:32 · 1309 阅读 · 1 评论 -
Deep Semantic Segmentation of Natural and Medical Images: A Review——翻译
TitleDeep Semantic Segmentation of Natural and Medical Images: A Review标题自然和医学图像深度语义分割综述pdf地址https://arxiv.org/pdf/1910.07655.pdf目录摘要1. 简介2. 网络架构改进2.1 全卷积神经网络(FCN)用于语义分割2.2 编解码器语义图像分...原创 2020-04-21 17:25:29 · 1704 阅读 · 0 评论 -
Evolution of Image Segmentation using Deep Convolutional Neural Network: A Survey——翻译
TitleEvolution of Image Segmentation using Deep Convolutional Neural Network: A Survey标题使用DCNN的图像分割演变调研pdf地址https://arxiv.org/pdf/2001.04074.pdf目录摘要1.简介2. 背景细节2.1 图像分割2.2 为什么选择CNN?3....原创 2020-04-20 16:10:14 · 932 阅读 · 0 评论 -
语义分割入门之路
1. 理论部分1.1 全连接神经网络(FC / BP)吴恩达课程第一章:神经网络和深度学习1.2 深度学习网络优化技巧吴恩达课程第二章:改善深层神经网络:超参数调试、正则化以及优化1.3 卷积神经网络(CNN)吴恩达课程第四章:卷积神经网络第一章和第二章掌握内容:卷积层:卷积核尺寸、卷积核数目、卷积步长、padding填充池化层:最大池化、平均池化、全局平均池化非线性层:si...原创 2020-03-20 21:57:54 · 1186 阅读 · 0 评论 -
Keras自定义IOU
def iou(y_true, y_pred, label: int): """ Return the Intersection over Union (IoU) for a given label. Args: y_true: the expected y values as a one-hot y_pred: the predicted...原创 2019-01-23 13:06:57 · 3253 阅读 · 18 评论 -
CNN for Semantic Segmentation(语义分割,论文,代码,数据集,标注工具,blog)
在FCN网络在2104年提出后,越来越多的关于图像分割的深度学习网络被提出,相比传统方法,这些网络效果更好,运算速度更快,已经能成熟的运用在自然图像上。语义分割显然已经是计算机视觉领域的一个热门研究领域,也是通往实现完全场景理解的道路之一,被广泛应用于无人驾驶、人机交互、医疗图像、计算摄影、图像搜索引擎、增强现实等应用领域。语义分割是像素级分类问题,将同一类物体像素点归为一类,如图所示。左:输入图...转载 2018-04-22 14:03:46 · 712 阅读 · 0 评论