【论文笔记】Self-Supervised Scene De-occlusion

最新推荐文章于 2024-04-25 10:06:26 发布
最新推荐文章于 2024-04-25 10:06:26 发布
阅读量798 收藏 2
点赞数
分类专栏： AI&ML 文章标签： 计算机视觉 自监督 场景去遮挡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43359312/article/details/107830235
版权

笔记目录（部分笔者省略）


Self-Supervised Scene De-occlusion
arXiv:2004.02788v1 [cs.CV] 6 Apr 2020
自监督场景去遮挡
注：限于作者水平，本笔记难免存在不妥之处，欢迎批评指正

原作知乎

自监督场景去遮挡

问题定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

自监督的部分补全机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部分补全网络的训练

Partial Completion Networks (PCNets)
PCNet-M for Mask Completion
PCNet-C for Content Completion
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

顺序恢复的推理过程

在这里插入图片描述
在这里插入图片描述

基于遮挡顺序的Amodal Completion

内容补全

在这里插入图片描述

与image inpainting的不同之处

在这里插入图片描述

Ordering-Grounded Amodal Completion

在这里插入图片描述

Amodal-Constrained Content Completion

在这里插入图片描述

解决疑问

为何要选取所有祖先节点作为遮挡物，而非仅仅直接遮挡的一阶祖先节点
在这里插入图片描述

Experiments

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用1: amodal mask自动生成

在这里插入图片描述

Amodal completion可视化结果

在这里插入图片描述

应用2: 场景编辑和重组

在这里插入图片描述
在这里插入图片描述

可以解决多个物体循环遮挡

在这里插入图片描述

不可解决两个物体互相遮挡

因为如下图中的互相遮挡的情况中，无法定义ordering graph。ordering graph是object level的，而互相遮挡则需要boundary-level de-occlusion。
在这里插入图片描述

用于Re-ID领域的思考

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Yo3ngLau
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【场景去遮挡】CVPR2020 Self-Supervised Scene De-occlusion 论文理解
wei6416118的博客
04-22 2839
论文地址：https://arxiv.org/abs/2004.02788 Code：https://github.com/XiaohangZhan/deocclusion/ 欢迎使用Markdown编辑器` 在这里插入代码片 ` 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本...
《 Self-supervised Sample Mining》笔记
qq_24548569的博客
11-03 1495
论文：《Human-Machine Cooperation: Self-supervised Sample Mining》 作者：王可泽 Motivation 在许多应用场景中，已标注的数据集不是很多，但是未标注或部分标注的数据集非常多。在监督学习任务中，足够多的标注数据对模型来说至关重要，因此使用未标注和部分标注的数据集的想法越来越重要。但是为未标注或部分标注的数据进行标注的成本很高，因为通常需...
Self-Supervised Scene De-occlusion（2020CVPR 港中文）论文解读
Turbo_Come的博客
07-08 778
Self-Supervised Scene De-occlusion（2020CVPR 港中文） 1.要解决的问题： Natural scene understanding 是一个具有挑战的任务，特别是当多个物体因前后顺序位置而产生遮挡时。有些时候需要去分析每个独立的物体，恢复其被遮掩的部分。 在instance segmentation 的数据集中，像 COCO、KITTI、LVIS 这些。里面并没有遮挡关系和 amodal mask 的标注，所以有监督学习的思路是无法解决上述问题的。 ...
解析去遮挡神器：XiaohangZhan/deocclusion
最新发布
gitblog_00062的博客
04-25 338
解析去遮挡神器：XiaohangZhan/deocclusion 项目地址:https://gitcode.com/XiaohangZhan/deocclusion 项目简介 XiaohangZhan/deocclusion 是一个基于深度学习的图像去遮挡工具，由开发者Zhan Xiaohang创建并开源。该项目旨在帮助用户移除图像中不想要的遮挡部分，恢复被遮挡对象的真实外观，为图像处理和计算机视...
Semi-Supervised Natural Face De-Occlusion 论文笔记
qq_44465615的博客
11-16 467
Semi-Supervised Natural Face De-Occlusion 论文笔记 目标：使用未配对的自然面部图像执行弱监督的自然面部去遮挡。被遮挡图像的未遮挡图像在训练时不可得。无需遮挡掩码。同时完成检测遮挡区域和去除遮挡区域。 思路，使用GAN网络，OA-GAN由发生器和鉴别器组成。 发生器由遮挡感知模块和人脸修复模块组成。对于一个给出的带遮挡图片，首先遮挡感知模块预测一个遮挡掩码。 它与遮挡人脸图像一起输入到发生器的人脸完成模块中，用于人脸去遮挡。鉴别器中存在对抗性损失，用于区分真实无遮挡的
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1625
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
Self-supervised Graph Learning for Recommendation
12-20
在推荐系统领域，自监督学习（self-supervised learning）已经成为一种新兴的研究焦点，尤其是在结合图学习（graph learning）的情况下。自监督学习的核心思想是利用数据自身的信息来构建监督信号，而不是依赖于人工...
Self-Point-Flow Self-Supervised Scene Flow Estimation From Point
11-17
在计算机视觉领域，场景流动（Scene Flow）是用于理解和描述3D动态场景中物体运动的一种重要工具。它提供了关于场景中每个点在连续帧之间移动的精确信息。然而，由于真实世界场景流动数据的标注非常稀缺，自我监督...
self-training-self-supervised-disfluency
05-27
请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。如何使用 conda create -n ss_disfluency python=3.7conda activate ss_disfluencyconda install pytorch ...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
论文 项目页面 在观看整个视频 如果您觉得有用，请引用我们的论文。 @article{kothandaraman2020safe, title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments},...
OCCLUSION-AWARE GAN FOR FACE DE-OCCLUSION IN THE WILD.pdf
11-12
我们提出两级遮挡识别GAN，如图1，来消除任意面部遮挡，使去遮挡过程更加透明。在其中，两级GANs有不同工作，第一个生成器G1用于合成遮挡的图像（分离遮挡），第二个合成器G2用于合成去遮挡的图片。 传统的人脸完成方法试图通过一个阶段直接恢复无遮挡人脸，如图一（a）。相反，我们的G1首先分离出遮挡，再将其作为G2的输入来生成更精确的未遮挡图像。
【论文翻译】SOLD2: Self-Supervised Occlusion-Aware Line Description and Detection
EternallyAccompany的博客
03-01 921
论文：http://arxiv.org/abs/2104.03362 代码：https://github.com/cvg/SOLD2
SOLD2
weixin_40647655的博客
06-01 675
SOLD2: Self-supervised Occlusion-aware Line Description and Detection 自监督防遮挡线特征描述和检测 特征点是SFM、SLAM、大规模视觉定位和三地重建等计算机视觉任务总的核心。线特征在现实世界中广泛存在，相比于点特征线特征本身有着方向的属性，这能够提供强有力的几何约束。本文的方法能够检测线段并且能够匹配线段和处理部分遮挡。 经典的方法主要是基于计算梯度和人工设计的滤波器来检测线特征，如今深度学习已经能够实现实时鲁邦的线特征检测，主要的研究
【Pytorch论文相关代码】使用SOLD2预训练好的模型检测与匹配线段(自己的数据集)
热门推荐
畅游计算机视觉的海洋
01-18 13万+
文章目录前言使用流程 前言 论文链接：SOLD2: Self-supervised Occlusion-aware Line Description and Detection 论文源码：https://github.com/cvg/SOLD2 使用流程 下载好源码。 安装相关依赖。 下载预训练好的模型文件：sold2_wireframe.tar。github上作者提供的下载链接非常慢，建议使用下面链接下载： 链接：sold2_wireframe.tar ...
自监督学习在CV领域研究进展总结
我爱计算机视觉
06-30 2002
导读自监督学习是指从数据本身产生某种形式的标签并训练神经网络，用来解决某些特定任务或者学习通用的图像、视频、语言的特征表达。在学术界，自监督学习被证明可以解决光流预测、深度估计、...
CVPR2020 Oral | 港中文-商汤等开源：自监督场景去遮挡
zandaoguang的博客
04-14 681
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达本文作者：Xiaohang Zhanhttps://zhuanlan.zhihu.com/p/129...
Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers笔记
菜鸟中的菜中菜的博客
09-14 1046
分割高度重叠的物体具有挑战，不同于以往的two-stage，讲图像建模成两个重叠层的组合，提出了BCNet。顶部GCN层检测遮挡对象，底部GCN层推断部分遮挡实例。 在one-stage 和two-stage 目标检测 中 使用不同的backbone和网络层上 验证了双层解耦的有效性。 我们注意到，大多数增量改进来自于更好的backbone主干架构设计，很少关注从目标检测中获得ROI(感兴趣区域)特征后的实例掩码回归。 两个图像层的重叠部分表示遮挡体的不可见区域，这是由我们的遮挡感知BCNet框架明确建模的
代码实践 | CVPR2020——AdderNet（加法网络）迁移到检测网络（代码分享）
gzq0723的博客
04-09 950
点击蓝字关注我们扫码关注我们公众号: 计算机视觉战队扫码回复：加法网络，获取源码论文链接记得前段时间“计算机视觉研究院”推送了一篇关于CVPR2020最佳分类的文献（链接：CVPR2...
self-supervised
06-28
自监督学习（self-supervised learning）是一种机器学习的方法，通过利用输入数据本身的特征来训练模型。在自监督学习中，模型使用未标记的数据作为训练数据，通过预测输入数据中的某些特定信息来学习特征表示。这种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值