《论文阅读》Cascade EF-GAN: Progressive Facial Expression Editing With Local Focuses

最新推荐文章于 2021-08-02 19:30:33 发布
最新推荐文章于 2021-08-02 19:30:33 发布
阅读量1k 收藏 4
点赞数 2
分类专栏： 深度学习 计算机视觉 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/108593664
版权

留个笔记自用

Cascade EF-GAN: Progressive Facial Expression Editing With Local Focuses

做什么

Facial expression editing面部表情编辑
在这里插入图片描述
简单来说就是可以将给定面部图像的表情转换为目标表情，而不会丢失身份属性

做了什么

在这里插入图片描述
主要的点有两点，第一点，在全局图片变化的前提下，注重表情丰富的局部区域信息，这里是选取了眼睛、鼻子、嘴唇三个区域来作为局部身份的倾向。第二点，在网络容量的限制下，单步变换在处理大间隙变换时经常产生重叠的伪影，将变换看成一个连续变化的话一步步迭代能更好的处理局部信息和伪影。

怎么做

在这里插入图片描述
整体网络结构呈现的十分简单，主要核心部分就是EF-GAN with Attention-Driven Local Focuses部分，另外一部分就是在EF-GAN结果的基础上进行迭代的Cascade Facial Expression Transformation部分。
所以首先先看EF-GAN部分
在这里插入图片描述
输入和输出都很好理解，输入就是一张人脸图和目标表情标签，输出就是一张目标表情的人脸图。
首先这部分有两个branch，跟文章立意一样，分为全局特征即整张图还有局部细节特征即眼睛、鼻子、嘴唇三个部分。
第一步是将目标标签编码，即encode成vector形式，这里采用的是Facial Action Coding Sys-tem (FACS)编码成Action Units。文中说是使用的开源的OpenFace来操作的。FACS的大致例子👇
在这里插入图片描述
之后将操作原输入图，将输入图的三个局部区域crop出来，这里文章说crop的方法仍然用的是OpenFace
然后将前面两个得到的label和patch image操作后concatenate的结果经过各自的G网络，这里4个G网络结构完全相同但不共享权重。
最后分别得到四张图，即跟前面截的相同，全局图、三个局部图，但都是经过目标表情转换后的结果
在这里插入图片描述
具体结构👇
在这里插入图片描述
这里也用到了现在比较常见的attention机制，为了证明理论合理，这里还把attention也给可视化了在这里插入图片描述
这里就能比较明显的看出在global中，比较看重的部分是显著的变化，比如嘴唇的变化，而局部部分看重的是细节的部分，比如眼睛的区分特征，两者结合效果明显更好
得到了四张结果后，接下来就需要把它们融合在一起
在这里插入图片描述
这里的想法主要就是将三个局部区域结合再精细化后再和全局图进行结合，使其收集到的局部信息对全局信息进行细节和补充
接下来是第二部分Cascade Facial Expression Transformation部分
在这里插入图片描述
这里原文的解释是为了在处理大间隙表达变换时，网络容易产生重叠伪影，简单来说的理解就是一块区域内两种像素堆叠然后出现这种情况在这里插入图片描述
为了防止这种情况，这里把大间隙表达变换问题分割，分割成多个小问题，也就是多次进行细节处理，采用了EF-GAN的串联迭代
整体流程：输入源图，经过EF-GAN得到结果A，结果A经过EF-GAN得到结果B，结果B经过EF-GAN得到最终结果C。就是LSTM那样的迭代。文中还提到了这里的AUs是自建网络来进行得到的，感觉并不是特别有参考意义，就没有进行深究了。
然后便是训练和LOSS了
在这里插入图片描述
Ladv是用于改善合成人脸表情图像的照片真实感以使其与真实人脸无法区分的对抗损失
Lcond是确保生成的面部表情图像与提供的目标 AUs 标签对齐
Lcont用于保持图像内容的身份信息和一致性的内容丢失
Lattn鼓励注意力模块产生稀疏的注意力图，并关注再次需要修改的区域
Linterp期望AUs语义自然

总结

1.分布、迭代、attention，简单分割问题的方式，其他地方似乎没什么特殊的

未知丶丶
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文笔记：Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses
起风了丿的博客
11-03 885
1.摘要 人脸表情编辑通常涉及较大的几何变化，并且需要同时修改多个面部区域。虽然基于生成式对抗网络（GAN）的人脸表情编辑模型已取得了显著性成果，但是在处理大幅度表情变换时如从愤怒到笑等，当前模型依旧会产生伪影和模糊问题。 针对这一问题作者提出了以局部区域为重点的渐进式表情转换模型 Cascade EF-GAN。不同于针对整张图像的表情变换模型，该模型将表情变换细分为眼睛，鼻子和嘴巴的局部区域独立地进行表情变换，并采用渐进的方式训练模型。实验表明该模型有助于抑制重叠伪影以及模糊问题，并能产生逼真自然的效果。
Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses 论文解读
qq_43351790的博客
02-24 2455
题目：Cascade EF-GAN：局部聚焦渐进式面部表情编辑 时间：2020.3 作者：Rongliang Wu, Gongjie Zhang, Shijian Lu, and Tao Chen CVPR 2020 Abstract 目前面部表情编辑存在的问题：生成性对抗网络（GAN）的最新进展表明，面部表情编辑有了显著的改进。然而，当前的方法仍然容易在表达密集型区域周围产生伪影和模糊，并且在处理大间隙表达转换（例如从愤怒到大笑的转换）时，经常引入不希望的重叠伪影。 本文提出的方案： （1）为了解决这些
CVPR 2020 | 以局部焦点进行渐进式面部表情编辑
Paper weekly
07-19 1298
©PaperWeekly 原创 ·作者｜薛洁婷学校｜北京交通大学硕士生研究方向｜图像翻译论文介绍人脸表情编辑通常涉及较大的几何变化，并且需要同时修改多个面部区域。虽然基于生成式对抗网络...
Facial Expression Recognition by De-expression Residue Learning-论文笔记
Tender_Li的博客
08-08 2762
Facial Expression Recognition by De-expression Residue Learning，这是一篇发表在CVPR2018的论文，翻译过来是“基于去表情残差学习的面部表情识别”。文章提出了一种通过从cGAN的各个层中提取表情信息进行表情识别的方法，这是一种比较新颖的方法。作者通过使用cGAN获取带有面部表情信息的“表情组件”，随后通过多个CNN进行“表情组件”特征的学习，进而完成面部表情识别。
CVPR2020 GAN文章整理
03-19 5026
以后会持续更新，希望大家能够一起探讨，共同学习。 1、Interpreting the Latent Space of GANs for Semantic Face Editing webpage：https://genforce.github.io/interfacegan/ CUHK Bolei Zhou团队的文章，第一作者Yujun Shen目前在FacekBook做Research ...
CVPR2020 GAN论文整理
idol24的博客
05-25 4936
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！来自 |知乎地址|https://zhuanlan.zhihu.com/p/1143030...
laravel-cascade-soft-deletes：实现软删除的雄辩模型的级联删除
02-04
通常，您将使用数据库的外键约束，在注释表的外键约束中添加ON DELETE CASCADE规则。 删除父记录后能够还原它可能很有用。 在这些情况下，您可以使用Laravel的功能。 但是，这样做会失去使用数据库原本可以提供的...
cascade-rcnn:多种流行对象检测框架的Caffe实现
05-11
该存储库在MS-COCO和PASCAL VOC数据集上实现了多种流行的对象检测算法，包括Faster R-CNN，R-FCN，FPN和我们最近提出的Cascade R-CNN。 骨干网有多种选择，包括AlexNet，VGG-Net和ResNet。 它是用C ++编写的，并由...
cascade-stereo:级联立体声
05-01
Casacde-Stereo（CVPR2020口服） 高分辨率多视图立体声和立体声匹配的纸质级联成本量的官方源代码， 安装要求python 3.6 火炬== 1.2 CUDA> = 9.0 pip install -r requirements.txt --user选项：Apex 安装apex以启用...
cascade-server:CASCADE服务器
05-01
级联CASCADE是MITER的一个研究项目，旨在使“蓝队”团队执行的大量调查工作自动化，以使用主机数据确定网络上可疑行为的范围和恶意程度。 该存储库中包含的原型CASCADE服务器具有处理用户身份验证，运行分析和执行...
opencv-cascade-tracker：使用Python在OpenCV中训练，检测和跟踪Haar级联
02-07
训练，分类（Haar级联）和跟踪 使用Python在OpenCV中训练我们自己的Haar级联。 级联分类器具有多个过滤阶段。 使用滑动窗口方法，窗口内的图像区域会经过级联。 可以使用classifier.py脚本轻松地测试级联的准确性，...
CVPR 2020 论文大盘点-人脸技术篇
热门推荐
我爱计算机视觉
06-11 1万+
本文盘点CVPR 2020 所有人脸相关论文，总计64篇，涵盖方向众多，传统方向比如人脸识别、检测等依旧是研究的重点，除此之外，人脸生成、编辑，人脸反欺骗也有众多工作，一方面是研究如何造...
最新下载！一览2020年3月至今90多篇GAN论文！
idol24的博客
04-08 948
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！GAN整整6年了！是时候要来捋捋了！新手指南综述 | GAN模型太多，不知道选哪儿个？数百篇G...
简单盘点 CVPR2020 的图像合成论文
AI 算法笔记
08-02 2597
点击上方“算法猿的成长“，关注公众号，选择加“星标“或“置顶”总第 147 篇文章，本文大约3500字，阅读大约需要 10分钟前言本文将简单盘点在 CVPR2020 上的图像合成方...
计算机视觉论文-2021-07-27
中科院AI算法工程师的博客
08-02 2765
本专栏是计算机视觉方向论文收集积累，时间：2021年7月27日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:3D AGSE-VNet: An Automatic Brain Tumor MRI Data Segmentation Framework AUTHORS: XI GUAN et. al. CATEGORY: cs.AI [cs....
超100篇！CVPR 2020最全GAN论文梳理汇总！
idol24的博客
06-18 6745
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！戳我，查看GAN的系列专辑~！下述论文已分类打包好！共116篇，事实上仍有一些GAN论文未被包...
《论文阅读》Point Transformer
未知丶的博客
02-14 8510
留个笔记自用 Point Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 怎么做 总结 ...
《论文阅读》AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS
未知丶的博客
03-11 5973
留个笔记自用 AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 这里又是一种trans
《论文阅读》PCT: Point Cloud Transformer
未知丶的博客
02-19 4253
留个笔记自用 PCT: Point Cloud Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 跟另外一篇Point transformer的说法非常相似，将
+- tk.mybatis:mapper-spring-boot-starter:jar:1.2.3:compile [INFO] | +- tk.mybatis:mapper-spring-boot-autoconfigure:jar:1.2.3:compile [INFO] | \- tk.mybatis:mapper:jar:3.5.2:compile [INFO] | \- javax.persistence:persistence-api:jar:1.0:compile，如何引入依赖，使项目可以使用orphanRemoval？
最新发布
05-24
要使用 `orphanRemoval` 功能，需要使用 JPA 的实现库，比如 Hibernate。 你可以在你的项目中引入 Hibernate 的 JPA 实现库，然后将 `orphanRemoval` 属性设置为 `true` 即可。以下是一个示例依赖： ```xml <dependency> <groupId>org.hibernate</groupId> <artifactId>hibernate-core</artifactId> <version>5.4.32.Final</version> </dependency> ``` 在实体类中，你可以使用 `@OneToMany` 注解来指定一对多关系，并将 `orphanRemoval` 属性设置为 `true`，以便在删除父实体时自动删除子实体。例如： ```java @Entity public class Parent { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) private Long id; @OneToMany(mappedBy = "parent", cascade = CascadeType.ALL, orphanRemoval = true) private List<Child> children = new ArrayList<>(); // ... } @Entity public class Child { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) private Long id; @ManyToOne(fetch = FetchType.LAZY) private Parent parent; // ... } ``` 上面的代码中，当删除 `Parent` 实体时，与之相关联的 `Child` 实体也会被自动删除。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值