PRNet论文解读

最新推荐文章于 2024-03-21 09:39:23 发布
最新推荐文章于 2024-03-21 09:39:23 发布
阅读量1k 收藏 1
点赞数
分类专栏： 3D人脸对齐和重建
原文链接：https://www.pianshen.com/article/8608380708/
版权

原文链接：https://www.pianshen.com/article/8608380708/

 

人脸3D重建ECCV2018PRNet论文解读

github地址：https://github.com/leoluopy/paper_discussing/blob/master/body/PRNet/PRNet.md

Overview

  • 端到端的人脸3D重建模型，同时直接预测人脸的【实际上就是UV空间预测并直接解码，UV空间后面叙述】

以前的模型或者需要首先回归3DMM参数来计算3D空间，或者需要回归特征3D点随后进行非线性优化获取3DMM参数，随后使用3DMM参数来得到稠密的人脸模型,这些方法都是基于3DMM模型的。 当然也有2D的方法，先回归得到2D的不少坐标点，并预测深度图，根据深度度和2D点重建稠密3D人脸

  • 这个模型做到了在1080的显卡上仅仅需要 9ms的速率，相对于之前的各种方法有了很明显的提升，同时在评判指标CED，NME上也有显著的提升

NME : normalised mean error : 归一化的，参考长度的坐标偏差衡量指标，用来评判人脸关键点回归质量的重要指数

CED : NME和数据集比例曲线，衡量在NME达到一定错误率时，已经覆盖的数据集比例，模型的鲁棒性指标

效果概览

  • 人脸关键点和3D重建结构效果

  • PRNet 根据人脸关键3D位置及其相应纹理，进行的换脸术。

  • PRNet重建的稠密3D人脸

UV 空间

  • 左图是二维人脸图片以及对应的稠密3D点云。
  • 右图是UV空间表示。

第一排第一张是原始图片，第一排第二张是将人脸RGB通道映射到UV空间的对应位置【UV空间纹理图】，第一排第三张是UV空间位置图，每个通道表示对应纹理的xyz。

第二排是 UV空间的位置图三个通道的展开。 GT 就是ＵＶ位置空间，在代码中维度是（256,256,3）

网络结构


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       def resBlock(x, num_outputs, kernel_size = 4, stride=1, activation_fn=tf.nn.relu, normalizer_fn=tcl.batch_norm, scope=None):
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       assert num_outputs%
       
       2==
       
       0 
       
       #num_outputs must be divided by channel_factor(2 here)
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       with tf.variable_scope(scope, 
       
       'resBlock'):
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               shortcut = x
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
            
       
       if stride != 
       
       1 
       
       or x.get_shape()[
       
       3] != num_outputs:
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
                   shortcut = tcl.conv2d(shortcut, num_outputs, kernel_size=
       
       1, stride=stride, 
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
                               activation_fn=
       
       None, normalizer_fn=
       
       None, scope=
       
       'shortcut')
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x = tcl.conv2d(x, num_outputs/
       
       2, kernel_size=
       
       1, stride=
       
       1, padding=
       
       'SAME')
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x = tcl.conv2d(x, num_outputs/
       
       2, kernel_size=kernel_size, stride=stride, padding=
       
       'SAME')
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x = tcl.conv2d(x, num_outputs, kernel_size=
       
       1, stride=
       
       1, activation_fn=
       
       None, padding=
       
       'SAME', normalizer_fn=
       
       None)
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  12. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x += shortcut       
      
      
    
     
     
  13. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x = normalizer_fn(x)
      
      
    
     
     
  14. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               x = activation_fn(x)
      
      
    
     
     
  15. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       return x

残差结构实现，如上**是relu，归一化是BN，shortcut对应三次卷积，随后通道合并，最后归一化和**。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           size = 
       
       16  
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       # x: s x s x 3
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = tcl.conv2d(
       
       x, num_outputs=size, kernel_size=
       
       4, stride=
       
       1) 
       
       # 256 x 256 x 16
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       2, kernel_size=
       
       4, stride=
       
       2) 
       
       # 128 x 128 x 32
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       2, kernel_size=
       
       4, stride=
       
       1) 
       
       # 128 x 128 x 32
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       4, kernel_size=
       
       4, stride=
       
       2) 
       
       # 64 x 64 x 64
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       4, kernel_size=
       
       4, stride=
       
       1) 
       
       # 64 x 64 x 64
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       8, kernel_size=
       
       4, stride=
       
       2) 
       
       # 32 x 32 x 128
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       8, kernel_size=
       
       4, stride=
       
       1) 
       
       # 32 x 32 x 128
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       16, kernel_size=
       
       4, stride=
       
       2) 
       
       # 16 x 16 x 256
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       16, kernel_size=
       
       4, stride=
       
       1) 
       
       # 16 x 16 x 256
      
      
    
     
     
  12. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       32, kernel_size=
       
       4, stride=
       
       2) 
       
       # 8 x 8 x 512
      
      
    
     
     
  13. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           se = resBlock(se, num_outputs=size * 
       
       32, kernel_size=
       
       4, stride=
       
       1) 
       
       # 8 x 8 x 512
      
      
    
     
     
  14. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
      
      
    
     
     
  15. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(se, size * 
       
       32, 
       
       4, stride=
       
       1) 
       
       # 8 x 8 x 512 
      
      
    
     
     
  16. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       16, 
       
       4, stride=
       
       2) 
       
       # 16 x 16 x 256 
      
      
    
     
     
  17. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       16, 
       
       4, stride=
       
       1) 
       
       # 16 x 16 x 256 
      
      
    
     
     
  18. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       16, 
       
       4, stride=
       
       1) 
       
       # 16 x 16 x 256 
      
      
    
     
     
  19. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       8, 
       
       4, stride=
       
       2) 
       
       # 32 x 32 x 128 
      
      
    
     
     
  20. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       8, 
       
       4, stride=
       
       1) 
       
       # 32 x 32 x 128 
      
      
    
     
     
  21. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       8, 
       
       4, stride=
       
       1) 
       
       # 32 x 32 x 128 
      
      
    
     
     
  22. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       4, 
       
       4, stride=
       
       2) 
       
       # 64 x 64 x 64 
      
      
    
     
     
  23. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       4, 
       
       4, stride=
       
       1) 
       
       # 64 x 64 x 64 
      
      
    
     
     
  24. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       4, 
       
       4, stride=
       
       1) 
       
       # 64 x 64 x 64 
      
      
    
     
     
  25. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
      
      
    
     
     
  26. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       2, 
       
       4, stride=
       
       2) 
       
       # 128 x 128 x 32
      
      
    
     
     
  27. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size * 
       
       2, 
       
       4, stride=
       
       1) 
       
       # 128 x 128 x 32
      
      
    
     
     
  28. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size, 
       
       4, stride=
       
       2) 
       
       # 256 x 256 x 16
      
      
    
     
     
  29. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, size, 
       
       4, stride=
       
       1) 
       
       # 256 x 256 x 16
      
      
    
     
     
  30. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
      
      
    
     
     
  31. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, 
       
       3, 
       
       4, stride=
       
       1) 
       
       # 256 x 256 x 3
      
      
    
     
     
  32. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pd = tcl.conv2d_transpose(pd, 
       
       3, 
       
       4, stride=
       
       1) 
       
       # 256 x 256 x 3
      
      
    
     
     
  33. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       pos = tcl.conv2d_transpose(pd, 
       
       3, 
       
       4, stride=
       
       1, activation_fn = tf.nn.sigmoid)

网络结构如上图所示，有两部分组成，网络残差和反卷积。最后**使用sigmoid得到输出UV空间。

Loss设计

 

  • P(x,y) 是UV位置空间的预测结果,表征了UV图上对应像素的xyz位置
  • W(x,y) 是UV位置空间的权重,对UV空间进行权重控制,关键点:眼鼻嘴:脸部其他:其他 = 16:4:3:0

训练细节

  • 训练数据来源: 使用了300W-LP数据集,
    • 拥有各个角度的人脸数据,使用时scale到256x256
    • 3DMM系数的标注
    • 使用3DMM 生成3D点云,并转换3D点云至UV空间

注: 虽然生成GT使用了3DMM的标注系数,但是模型本身不包含3DMM模型的任何线性约束.

  • 数据增广包含了所有的困难场景:
    • 角度变换 -45 ~ 45 度
    • 平移系数 0.9 ~ 1.2 (原图大小为基数)
    • 颜色通道变换 0.6 ~ 1.4
    • 添加噪音纹理遮挡,模拟真实情况遮挡.
  • adam优化器,初始学习率0.0001,每5个epoch,衰减1半,batch size:16

测试结果

 

  • 上面两图记录了68个关键点和所有点的CED曲线走向情况,总的来说都有不少提升.

  • 角度变化情况下的,3D人脸关键点的NME效果对比

  • 上图使用了瞳间距作为归一化分母,这样更加形象的表达了算法效果.

  • 推理时间[1080显卡]

  • 与各种方法比如VRN在不同角度下,和3d稠密重建效果的对比.

  • 部分推理结果超过GT,训练过程忽略掉的GT噪声

 

 

薛定谔的炼丹炉！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PRNet 论文学习、Windows系统代码环境配置及demo展示
chen_znn的博客
08-01 2146
PRNet论文学习及在Windows系统中运行代码
论文阅读：PRNet
u012894550的博客
07-22 2738
论文笔记：PRNet PRNet: Self-Supervised Learning for Partial-to-Partial Registration 1、现存问题 PointNetLK和DCP证明了基于学习的配准可以比传统方法更快和鲁棒，但是依旧在处理部分-部分配准上效果不好 2、创新点 引入Gumbel-Softmax来确定采样关键点间的对应关系，实现网络的直通梯度估计，以获得一个尖锐和近可微的映射函数 设计了一种actor-critic closest point 模块能够更好的预测比具有固定参
PRNet: 实时3D面部重建的创新工具
最新发布
gitblog_00097的博客
03-21 355
PRNet: 实时3D面部重建的创新工具 项目地址:https://gitcode.com/yfeng95/PRNet PRNet 是一个开源项目，由作者yfeng95创建并维护，专注于提供实时的3D面部重建解决方案。这个项目利用深度学习和计算机视觉的技术，可以在单个RGB视频流上精确地捕捉和重建人脸的三维几何信息。 技术分析 PRNet采用了端到端的深度神经网络架构，分为两部分：参数化回归网络（...
PRNet网络输出的理解
qq_43703185的博客
07-28 2021
原文链接：https://blog.csdn.net/zb1165048017/article/details/104204035 前言 之前有款换脸软件不是叫ZAO么，分析了一下，它的实现原理绝对是3D人脸重建，而非deepfake方法，找了一篇3D重建的论文和源码看看。这里对源
PRNet论文简洁翻译
qq_43703185的博客
07-28 1345
原文链接：https://blog.csdn.net/Swocky/article/details/106433925 题目：Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression N
PRNet-master.zip
09-02
这是关于论文Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network (ECCV 2018)的代码
PRNet人脸识别python实现 68个特征点
07-02
PRNet人脸识别python实现 68个特征点 需要的数据集也在里面 直接下载运行即可
PRNet人脸特征点识别 画出识别的68个特征点
08-01
PRNet人脸特征点识别 画出识别的68个特征点 所有的数据都在里面 拿来就可以运行
PRNet_PyTorch:PyTorch 1.1.0中PRNet的培训和推理代码
03-10
PRNet PyTorch 1.1.0 这是一个非官方的pytorch实施PRNET的，因为没有一个完整的生成和训练码数据集。 作者：Samuel Ko，mjanddy。更新日志@日期：2019.11.13 @notice ：mj已在加载uv map中修复了一个重要错误。 原始...
PRNet_mailm3k_人脸建模_人脸表情_3D人脸建模_
10-02
3D人脸建模工具，用于检测人脸表情，实时人脸建模。
AIM_FAS:论文“零镜头和少镜头面部反欺骗的学习元模型”的实现
05-11
＃此代码是“学习零元和少量镜头的面部反欺骗的元模型”论文的实现 协议文件夹中包含协议OULU-ZF的图像列表，并且协议Cross-ZF即将发布。 所需环境：tensorflow> = 1.4.0，opencv> = 3.0.0，依此类推。 要运行此代码，您应该首先使用PRNet或其他工具来生成面部深度图作为所有活动面Kong的标签。 所有欺骗面的标签都是零数组，形状为[32、32、1]。 数据结构：火车，val和测试集的每组都包含细粒度的活动和欺骗面Kong类型。 对于每种细粒度类型，它都包含多个面部图像以及相应的面部框文件和面部深度图图像。 图像，面部框文件和面部深度图像应分别以“ _scene.jpg”，“ _ scene.dat”和“ _depth1D.jpg”结尾。 @article {qin2020learning，title = {针对零拍几张面部反欺骗的学习元模型}，
3D人脸重建——PRNet网络输出的理解
热门推荐
风翼冰舟的博客
02-06 1万+
前言 之前有款换脸软件不是叫ZAO么，分析了一下，它的实现原理绝对是3D人脸重建，而非deepfake方法，找了一篇3D重建的论文和源码看看。这里对源码中的部分函数做了自己的理解和改写。 国际惯例，参考博客： 什么是uv贴图？ PRNet论文 PRNet代码 本博客主要是对PRNet的输出进行理解。 理论简介 这篇博客比较系统的介绍了3D人脸重建的方法，就我个人浅显的理解，分为两个流派：1.通过算...
深度学习 从2D图像中重建3D人脸：使用3DDFA或PRNet模型
sybh的博客
04-27 1447
在计算机视觉和图形学领域，从2D图像中重建3D人脸是一个具有挑战性的任务。在本文中，我们将介绍如何使用3DDFA和PRNet模型从2D人脸图像中重建3D人脸。我们将详细介绍每个模型的工作原理，并提供Python代码示例以帮助您快速入门。
（简单易懂PRNet）Joint 3D Face Reconstruction and Dense Alignment with position Map Regression Netw
qq_43703185的博客
07-28 835
原文链接：https://blog.csdn.net/yfy1127yfy/article/details/102839840?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162736575416780261967321%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=16273657541678026196732
CHR2C
qq_43033842的博客
12-01 350
CHR2C Net The Proposed Method 模型结构整体分为两部分：CHR和HR2C CHR（级联的热力图回归）: ​ 输入：原始输入图像或者上一阶段输出的特征图 ​ 第一阶段：学习刚性几何变换，粗略估计可见landmark的位置 ​ 第二阶端：基于可见的邻居信息学习遮挡landmark的位置。 ​ 在两个阶段的中间层添加特征图丢失层，以概率f将某个标记点对应的热力图置0，这样对该标记点热力图的学习只能依靠相邻的热力图。 采用交叉熵损失来学习热力图 [外链图片转存失败,源站
PRNet_master代码复现及bug合集
hu_yinghui的博客
09-04 818
PRNet_master代码复现及bug合集
【论文笔记】Non-Rigid Point Set Registration Networks
Nismilesucc的学习札记
08-12 725
蓝色 紫色 红色 Non-Rigid Point Set Registration Networks Code Abstract   点云注册被定义为确定从 源点集到目标点集 的空间变换的过程。现有方法通常以 迭代方式 搜索最佳几何变换 以注册给定的一对点集，由 最小化预定义的对齐损失函数 驱动。相比之下，所提出的点注册神经网络（PR-Net）主动从训练数据集中学习 配准模式 作为参数函数，从而预测 所需的几何变换 以对齐一对点集。PR-Net可以将学到的知识（即注册模式）从注册训练对转移到测试对，而无需额
PRNet人脸重建学习笔记
JohnYu024的博客
09-03 5441
PRNet是Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network中提出的3D人脸重建算法模型，文章发表于ECCV2018，利用神经网络直接预测了3D landmark，取得了不错的效果。 项目作者已经开源，地址在https://github.com/YadiraF/PRNet ...
prnet的uv位置图
05-20
PRNet是一个3D人脸重建模型，可以根据一张2D的人脸照片推断出该人脸的3D形状和姿态。在PRNet中，UV位置图是将3D人脸模型映射到2D平面上的一种方式，它可以表示每个3D点在2D图像上的位置。具体来说，对于一个2D人脸...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值