语义分割
用GAN得有GPU
发帖主要是为了整理自己的心得,仅供参考,有可能内容有误,欢迎指正错误,互相学习!
展开
-
语义分割概述
本文大多来自http://blog.geohey.com/ji-suan-ji-shi-jue-zhi-yu-yi-fen-ge/,方便读paper使用图像语义分割(semantic segmentation),从字面意思上理解就是让计算机根据图像的语义来进行分割,例如让计算机在输入下面左图的情况下,能够输出右图。语义在语音识别中指的是语音的意思,在图像领域,语义指的是图像的内容,对图片意思的理...原创 2019-10-09 10:34:50 · 1330 阅读 · 0 评论 -
2020 ICRA之RGBT语义分割:PST900: RGB-Thermal Calibration, Dataset and Segmentation Network
PST900: RGB-Thermal Calibration, Dataset and Segmentation Network简述:首先,本文提出了一种RGB-T数据集矫正方法其次,本文是一个比赛提出的,本文通过这种矫正方法对官方提供了PST900进行校正,做到成对数据的完全对齐。最后,提出了一种用于快速语义分割的框架。模型:1数据校正:这个比赛提供的数据集是RGB-D-T数据集,通过Depth信息来校正RGB和T信息对齐,通过T图像得到T到RGB图像的映射关系进行校正,这里不仔细讲了,原创 2020-10-22 16:42:10 · 1764 阅读 · 4 评论 -
2019 RAL之RGBT语义分割:RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes
RTFNet: RGB-Thermal Fusion Network for Semantic Segm简述:本文针对RGB-T语义分割任务,利用热图像的优势,并融合RGB和热信息在一个新的深度神经网络。模型:本文只有一个创新点,就是upception模块,其实就是上采样跳链接模块,本文没有太大的创新点,指标达到了sota(Res50的mIOU为51.7):...原创 2020-10-22 10:54:53 · 993 阅读 · 2 评论 -
2017 IROS之RGBT语义分割:MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi
MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spectral Scenes简述:第一篇RGB-T语义分割文章:近年来有关语义分割的研究主要基于在夜间能见度较差和恶劣天气条件下获取的RGB图像。此外,本文尽可能减少了时间消耗,提高速度。模型:17年还没有Res,本文就是最简单的编码解码器,最大通道数是128,所以设计的轻量级网络,网络本身没有复杂的结构。本文提出了RGBT数据集原创 2020-10-22 10:51:33 · 957 阅读 · 4 评论 -
2018 CVPR之语义分割:Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing
Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing当前的问题及概述:在语义分割任务中,为了减少人工标注的数据量,现在的很多算法转移到了弱监督任务(有image-level标注,无pixel-level标注)上,目前研究该问题的方法主要是利用深度网络对每个对象类的稀疏区域和描述区域进行推理...原创 2020-04-02 15:19:14 · 1836 阅读 · 0 评论 -
2018 BMVC之GAN+seg:Adversarial Learning for Semi-Supervised Semantic Segmentation
Adversarial Learning for Semi-Supervised Semantic Segmentation当前的问题及概述:现有的鉴别器大都在图像层次上对输入图像进行真伪分类训练,而我们设计了一种全卷积的鉴别器,在考虑空间分辨率的情况下,从ground-truth中对预测概率图进行区分。此外,全卷积鉴别器通过在未标记图像的预测结果中发现可能区域,实现半监督学习,从而提供额外的...原创 2020-03-30 23:06:15 · 2364 阅读 · 4 评论 -
2017 NIPS之GAN+seg:Generative Semantic Manipulation with Contrasting GAN
Generative Semantic Manipulation with Contrasting GAN当前的问题及概述:如今的GAN网络在图片风格迁移方面有了很大的突破,但是现有的模型只能传递low-level信息(如颜色或纹理变化),而不能编辑high-level语义信息(如几何结构或内容)。另一方面,虽然一些研究可以合成具有类标签或说明的引人注目的真实世界图像,但它们不能限定任意的形状...原创 2020-03-29 15:01:50 · 643 阅读 · 0 评论 -
2018 ECCV之语义分割:Adaptive Affinity Fields for Semantic Segmentation
Adaptive Affinity Fields for Semantic Segmentation本文没有提出新的框架,主要工作是提出了新的学习思路和loss:Affinity及AAF。目前的问题:目前,在语义分割的任务中,当有较大的训练数据和更深入、更复杂的网络架构,基于像素的分类方法在前景像素和背景像素接近或混合在一起时,从根本上缺乏空间分辩能力,即当前景的视觉证据较弱时,分割效果较差...原创 2020-01-16 13:34:52 · 899 阅读 · 0 评论 -
DeepLab-v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation目前的问题:深度神经网络采用空间金字塔池模块或编码解码器结构进行语义分割。空间金字塔池模块:可以对多尺度的上下文信息进行编码,通过过滤器或多倍速率和多个感受野的汇聚操作来探测输入的特征。编码解码器:可以通过逐步恢复空间信息来捕捉更...原创 2020-01-09 15:24:45 · 546 阅读 · 0 评论 -
DeepLab-v3:Rethinking Atrous Convolution for Semantic Image Segmentation
Rethinking Atrous Convolution for Semantic Image Segmentation目前的问题:当前DCNN在语义分割的两个挑战:1由连续池化操作或卷积所导致的特征分辨率降低,这使得DCNNs能够在不断增加的抽象特征表示中学习。然而,这种局部图像变换的不变性可能会妨碍密集的预测任务,因为在这些任务中需要详细的空间信息。2另一个困难来自存在多个尺度的物体...原创 2020-01-08 16:31:57 · 296 阅读 · 0 评论 -
DeepLab-v2:Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully C
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs本网络主要用于图像语义分割使用问题:DCNN的缺陷:本文特别考虑了DCNNs在语义图像分割中的三个应用挑战:(1)降低特征分辨率;(2)多尺度对象的存在;(3)由于D...原创 2020-01-07 10:59:38 · 2436 阅读 · 0 评论 -
2017 ICCV之语义分割:Cascaded Feature Network for Semantic Segmentation of RGB-D Images
Cascaded Feature Network for Semantic Segmentation of RGB-D Images目前的问题:1.为了计算对象/场景关系的表示,最近大量的分割网络使用一组感受野来丰富卷积特征的文本信息。这些感受野通常是预先定义的,具有不同大小的有规则形式。然而,这种规则的接受域是与上下文无关的,因为它们不考虑它们相对于非真实图像结构的范围。2.具有多个分支的...原创 2020-01-03 10:37:28 · 991 阅读 · 0 评论 -
2018 CVPR之语义分割:CCNet: Criss-Cross Attention for Semantic Segmentation
CCNet: Criss-Cross Attention for Semantic Segmentation简述:目前,语义分割的主流方法多为以FCN为基础的网络,它们天生局限于局部接受域和短期上下文信息。由于语境信息的不足,这些限制对基于模糊语言的方法产生了很大的负面影响。随后的带有金字塔池模块的PSPNet来捕获上下文信息同样没有达到预期的效果。本文提出CCNet,利用当前的两个交叉关注模...原创 2019-11-01 13:01:31 · 1585 阅读 · 3 评论 -
CVPR 2019之语义分割: Adaptive Pyramid Context Network for Semantic Segmentation
Adaptive Pyramid Context Network for Semantic Segmentation简述:当前,基于语境的分词方法在如何构建语境结构以及在实践中不同的表现上存在着一定的差异,特别的是,发现全局导向的局部亲和力(GLA)在构建有效的语境特征中至关重要。本文介绍了一种基于自适应金字塔上下文网络(Adaptive Pyramid Context Network)的语义...原创 2019-10-10 13:34:02 · 1573 阅读 · 9 评论 -
CVPR 2019之语义分割:Geometry-Aware Distillation for Indoor Semantic Segmentation
本文提出通过几何感知嵌入来提取depth信息的方式以及多个多级跳变结构融合的方式进行语义分割,并通过将单个任务预测分离为语义分割和集合嵌入学习两种联合任务,以及结合所提供的信息传播和特征融合体系,得到了截止当前所能达到最好的语义分割效果的网络结构。原创 2019-09-19 18:00:05 · 1556 阅读 · 6 评论