Unsupervised Person Image Synthesis in Arbitrary Poses 笔记

最新推荐文章于 2023-03-11 12:13:27 发布
最新推荐文章于 2023-03-11 12:13:27 发布
阅读量1.5k 收藏 5
点赞数
文章标签： 深度学习 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MatouKariya/article/details/82357208
版权
本文是关于cvpr2018的一篇oral论文笔记，介绍了一种在无监督情况下，根据输入图像和目标姿势生成新图像的技术。通过借鉴cycleGAN和U-Net结构，结合姿势回归器和身份损失函数，实现图像到图像的转换。实验结果显示，该方法在人体图像合成方面表现出色，尤其是在姿势变化和纹理保持方面。
摘要由CSDN通过智能技术生成

概述

  

这是一篇cvpr2018的oral文章，是在无监督的情况下的情况对给定的图片和姿势生成新的图片，由于训练集的图片不是成对出现的（无监督），所以他借用了cycleGAN的思想，生成器一方面生成新的姿势图片，另一方面将其生成回原来的样子，而loss也由三部分组成，除了判别器的adversial loss外，还有姿势回归器的pose loss和特征提取器的identity loss.

方法

姿势表示方法

每个姿势由N=18个二维像素坐标组成，每个坐标对应生成一张概率密度图，该坐标对应值为1，其余部分是一个以它为峰值，方差为0.03的高斯分布，这样也就生成了N张大小为H*W的概率密度图.

生成器

生成器的结构借用了cycleGAN中的U-Net，除了encoder和decoder外，还加入了skip connection，为了防止低级别的信息损失，将第i层的所有通道都concatenate到了第n-i层.

 

判别器

判别器的思想主要来源于pixel2pixel中的patchGAN，对于图片中的每个patch进行判别，最终得到一个26*

最低0.47元/天 解锁文章
MatouKariya
关注
unsupervised text-to-image synthesis代码.docx
12-06
《无监督文本到图像生成代码解析》 在计算机视觉领域，文本到图像生成是一个具有挑战性的任务，它涉及到自然语言理解和图像生成等多个复杂的技术。无监督学习在此领域中扮演着重要角色，因为它允许模型在没有标签的...
Controllable Person Image Synthesis with Attribute-Decomposed GAN
qq_40901266的博客
05-28 1630
1. Idea 可控性的图像生成 提出了具有两个独立pathways的生成器。其中一个pathway是用于pose encoding,另一个用于decomposed component encoding。 对于后者首先使用预训练的human parser从source person image 中自动地分离出component attributes（得到的是semantic layouts）。得到的component layouts之后通过multi-branch embeddings送入global te
Controllable Person Image Synthesis with Attribute-Decomposed GAN（基于属性分解GAN的可控人体图像合成 文献总结）
zbjcjdi的博客
03-07 383
Controllable Person Image Synthesis with Attribute-Decomposed GAN（基于属性分解GAN的可控人体图像合成 文献总结） 核心思想：将人的属性作为独立的代码嵌入到潜在空间中，通过显示风格表示的混合和插值操作实现对属性的灵活连续控制。 1.介绍 上图所示的是由多个源图像提供所需的人的属性的可控的人的图像合成。该模型通过将组件属性嵌入到潜在空间中构造样式代码，并将从人物图像中提取的关键点的二维骨架编码为姿态代码，通过自由编辑样式代码，实现对合成的特定
图像合成——《Semi-parametric Image Synthesis》阅读笔记
LetItBe的博客
05-07 3312
根据大致的草图框架（语义布局法），深度神经网络现在可以直接合成真实效果的图片。 参数模型（parametric models）的优点是具有高度的表现力，可进行端到端的训练。非参数模型（Non-parametric models）的优点是可以在测试时提取大型的真实图片数据集里的素材。 集结这两种方法的优势，提出了SIMS（半参数模型） SIMS工作思路： （1）先用大型真实图像数据集先训练非参数...
论文解读-Controllable Person Image Synthesis with Attribute-Decomposed GAN
上帝不会掷骰子的博客
08-15 1188
论文解读-<Controllable Person Image Synthesis with Attribute-Decomposed GAN> 一、基本情况 题目：Controllable Person Image Synthesis with Attribute-Decomposed GAN 基于属性分解生成对抗网络的可控人像生成 来源：CVPR2020 oral 机构：北京大学、字节跳动 作者：Yifang Men, Yiming Mao, Yuning Jiang, Wei-Ying
Controllable Person Image Synthesis with Attribute-Decomposed GAN（CVPR20）
o0Helloworld0o的博客
04-27 1151
3. Method Description framework中涉及到pose P∈R18×H×WP\in\mathbb{R}^{18\times H\times W}P∈R18×H×W表示为18通道的heatmap 3.1. Generator Generator的输入为source person image IsI_sIs​和target pose PtP_tPt​，输出为generated ...
Unsupervised hyperspectral image classification algorithm by integrating spatial-spectral information
02-09
An integrated spatial-spectral information algorithm for hyper spectral image classification is proposed, which uses spatial pixel association (SPA)by exploiting spectral information divergence (SID),...
Unsupervised Person Re-Identification A Systematic Survey of
09-25
无监督行人重识别（Unsupervised Person Re-Identification）是近年来计算机视觉（CV）和机器学习领域中的一个重要研究课题，特别是在机器视觉应用和研究意义方面。由于监督学习的行人重识别方法在性能上优于无监督...
Unsupervised Deep Transfer Feature Learning for Medical Image Classification
07-01
Unsupervised Deep Transfer Feature Learning for Medical Image Classification Unsupervised Deep Transfer Feature Learning for Medical Image Classification Unsupervised Deep Transfer Feature Learning ...
（ICCV 2023）Parallax-Tolerant Unsupervised Deep Image Stitching
最新发布
03-19
### ICCV 2023：Parallax-Tolerant Unsupervised Deep Image Stitching #### 概述 本文介绍了一种新的图像拼接方法——Parallax-Tolerant Unsupervised Deep Image Stitching（UDIS++），该方法针对现有的图像拼接...
Semi-Parametric Neural Image Synthesis翻译
nopSled
03-11 198
深度生成式建模取得了巨大的飞跃，特别是在语言建模以及高保真图像和其他类型数据的合成中。特别是对于图像合成而言，最近实现了惊人的结果，可以确定的是有三个主要因素成为这一进步背后的驱动力：首先，transformer的成功在许多视觉任务中引起了结构革命，尤其在图像合成领域组合了自回归建模。其次，由于其重新发现，扩散模型已应用于高分辨率图像生成，并在很短的时间，在生成图像建模达到了新的标准。第三，这些方法扩展性更好。
论文学习Unsupervised Person Image Synthesis in Arbitrary Poses
backer
10-22 807
Unsupervised Person Image Synthesis in Arbitrary Poses任意姿态无监督的人的图像合成 Abstract 我们提出了一种新颖的方法来合成使用生成敌对​​学习的任意姿势的人的照片真实感图像。给定一个人的输入图像和二维骨架所代表的所需姿势，我们的模型在新姿势下渲染同一人的图像，合成输入图像中可见部分的新视图，并幻想那些看不到的部分。这个最近已经以监...
Unsupervised Person Image Synthesis in Arbitrary Poses阅读笔记
qq_35226955的博客
08-15 728
Unsupervised Person Image Synthesis in Arbitrary Poses 作者：Albert Pumarola ，Antonio Agudo等人 2018 CVPR 1. 摘要： 有监督中的利用图像生成指定pose的行人图像做reid是早就用烂的了，但在无监督中生成带有任意pose的行人图像的方法还很少，同为2018 CVPR的PNGAN可以算是一种无监督方法(...
CVPR 2018 论文解读（部分）
gzq0723的博客
05-09 9040
CVPR 2018还有3个月就开始了，目前已经公布了所有收录论文名单，为了能够让大家更深刻了解CVPR的论文，我们进行了一些CVPR 2018论文解读的整理，后续还会持续...
CVPR2020 GAN论文整理
idol24的博客
05-25 4975
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！来自 |知乎地址|https://zhuanlan.zhihu.com/p/1143030...
YUV图像合成原理
weixin_34319374的博客
03-26 270
http://blog.csdn.net/zwz1984/article/details/50403150 http://zhongcong386.blog.163.com/blog/static/134727804201352610301922/ http://zhongcong386.blog.163.com/blog/static/1347278042013526104349588/?s...
图像合成原理
aofan9566的博客
09-19 500
blog宗旨：用图说话 辅助文字描写叙述： 目标：将一张图片指定区域显示，其他部分透明。 准备：准备两张目标图片A与B。A的显示部分填充黑色，透明部分填充白色。B的显示部分不变。透明部分填充黑色。 过程：首先将A图片与背景做AND运算。得到的是黑色显示区域。然后将B图片与得到的黑色显示区域作XOR运算。这样简单就能够得到一张透明背景图片啦。 原理:计算机中全部的数据...
CVPR 2018 论文解读集锦（9月26日更新）
极市平台的技术博客
09-18 4011
本文为极市平台原创收集，转载请附原文链接： CVPR 2018已经顺利闭幕，目前已经公布了所有收录论文名单和最佳论文，为了能够让大家更深刻了解CVPR的论文，我们进行了一些CVPR 2018论文解读的整理，后续还会持续更新。同时我们也对ECCV、ICCV等解读文章进行了整理，欢迎关注。 CVPR 2017 论文解读集锦 ICCV 2017 论文解读集锦 NIPS 2017 论文解读集锦（12-1...
怎么实现Unsupervised Person Re-identification by Soft Multilabel Learning
03-22
Unsupervised Person Re-identification by Soft Multilabel Learning是一种基于软多标签学习的无监督人员重新识别方法。该方法使用无标签的图像数据来训练模型，通过学习软多标签来捕捉图像之间的相似性和差异性，从而实现人员重新识别。具体实现方法可以参考相关论文和代码实现。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值