[SIGGRAPH2017](FLAME)Learning a model of facial shape and expression from 4D scans

已于 2022-04-13 10:48:05 修改
阅读量2.8k 收藏 10
点赞数 1
分类专栏： # 3D人脸重建 论文阅读 文章标签： 3d
于 2022-01-24 09:49:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wrk226/article/details/122661635
版权
本文提出一种结合精细与通用特性的3D面部模型。通过整合多个数据库，该模型能够精确表示不同个体的身份特征、姿势及表情变化。利用线性表示和基于关节的方法构建形状模型，并采用基于情绪的局部变形来模拟表情。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

标题：Learning a model of facial shape and expression from 4D scans
链接：https://ps.is.tuebingen.mpg.de/uploads_file/attachment/attachment/400/paper.pdf

动机

现在的3D模型有俩极端：
1.人工的3D模型，非常精细，但是需要大量人力
2.通用的3D模型，可以很容易匹配图像和视频，但是比较粗糙
所以这个文章就是为了同时满足上述两方面的需求

数据

早期的generic face model由于数据不足，所以能表达的面部形状有限。因此这篇文章就融合了三个数据库来弥补数据不足的问题。并且这文章的FLAME中的人物身份，姿势，面部表情都是分别单独表示的。
用CAESAR数据库来学习身份形状的表示
用D3DFACS数据库来学习姿势和表情的表示
用FaceWarehouse数据库来学习面部表情的表示（？）

模型

模型分为几个部分：

  1. 【形状】线性的身份形状表示+基于关节法表示的下巴，脖子，眼球
  2. 【姿势】与姿势相关的下巴，脖子表示
  3. 【表情】基于情绪的局部变形

训练方法

姿势参数
使用了三个约束来拟合3D模型和数据：

  1. E_D用于惩罚重构误差
  2. E_P用来保证blend的时候各项分摊平均且尽量减少整体的变动
  3. E_W用来保证每个部分都不会变化太大（例如眼睛歪到嘴巴上去）

E_P和E_W是互相竞争的，用于保证模型不会过拟合

表情参数
文中假设无表情的面部状态是已知的，然后计算每个表情的变化就只需要用每个表情的状态减去无表情的状态，最后做个PCA就得到了最终参数

形状参数
标准模板就是将姿势和面部表情移除后所有脸的平均值。最后做个PCA得到最终参数

重点：

registration：将一对数据进行配准。具体来说就是将现有的3D模型匹配到真实数据当中，从而去噪和补全原数据。
rigid：刚性的，刚性物体只能旋转平移，所以变形只需要考虑旋转角度和平移距离即可
non-rigid：非刚性的，非刚性物体不仅可以旋转平移，还可以变形，一般来说会用一组目标状态来综合表示。例如，用一组表情（喜怒哀乐）来综合表示一个人的情绪。
参考链接：SIGCourse：Dynamic Registration

linear blend skinning（LBS），SMPL：模拟人体运动的两个模型
参考链接：SMPL论文解读和相关基础知识介绍 - 凌辰两点的文章 - 知乎

RT-DETR训练自己的数据集（从代码下载到实例测试）
Limiiiing的博客
09-14 1万+
在Windows10上配置CUDA环境教程是百度提出的一种实时目标检测模型。RT-DETR采用了与DETR相同的编码器和解码器结构，但对其进行了大量的优化，在保持较高检测精度的同时，实现了实时目标检测，为目标检测领域提供了一种新的有效解决方案，具有广泛的应用前景，如自动驾驶、智能监控、机器人等领域。以上是RT-DETR官方的论文和代码，详细介绍了RT-DETR的构成和实现。在YOLOv10中也实现了RT-DETR的代码，所以本文使用YOLOv10的项目文件进行RT-DETR的训练和测试。YOLOv10。
RT-DETR改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题
最新发布
Limiiiing的博客
04-17 244
本文记录的是利用 SEAM 模块优化 RT-DETR 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点
RT-DETR代码详解（官方pytorch版）——参数配置（1）
小小老大MUTA的博客
01-07 6100
RT-DETR代码详解（官方pytorch版）参数配置
RT-DETR论文解读与代码
qq_52053775的博客
06-15 5599
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
Limiiiing的博客
12-03 426
一、本文介绍 本文记录的是基于RepVit的RT-DETR轻量化改进方法研究。RepVit的网络结构借鉴ViT的设计理念，通过分离的token mixe和channel mixer减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过加倍通道来弥补参数大幅减少的问题，提高了准确性。本文在替换骨干网络中配置了原论文中的repvit_m0_9、repvit_m1_0、repvit_m1_1、repvit_m1_5和repvit_m2_3五种模型，以满足不同的需求。 模型 参数量 计算量
RT-DETR模型源码解析
weixin_58429528的博客
08-07 987
"""目的是将特定的函数（如 to(), cpu(), cuda(), half(), float() 等）应用到模型的张量上，但这些张量不能是模型的参数或已注册的缓冲区。'''举个例子，如果args = {'imgsz': 416, 'data': 'coco128.yaml', 'task': 'detect', 'batch_size': 8}，这里有一个明显的错误，'grfc' 很可能是一个拼写错误，应该是 'grpc'，这是一种常用于微服务架构的通信协议。
RT-DETR部分源码解析
weixin_58429528的博客
08-07 768
RT-DETR源码解析
RT-DETR详解之 Decoder 层
pengxiang1998的博客
06-11 3666
在上一篇博客中，博主已经讲解了如何利用选择出好的特征，接下来便要将这些特征输入到Decoder中进行解码，需要注意的是，在RT-DETR的Encoder中，使用的是标准的自注意力计算方法，而在其Decoder中，则使用的是可变形自注意力（deformable attention)，可变形自注意力能够大幅的降低计算量，同时该部分还使用到了CUDA算子，能够加快运行速度，当然，这个可变形自注意力计算并非是RT-DETR的创新点，但其作用却是极大，在DINO，DN-Deformable-DETR中都有使用。
RT-DETR推理详解及部署实现
周同学的博客
11-12 1万+
RT-DETR推理详解及部署实现
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
热门推荐
Snu77的博客
11-27 4万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
目标检测+PaddleDetection+rt-detr运行代码
06-28
该代码是百度的PaddleDetection代码，包含rt-detr配置文件和相关代码，可以直接用来测试
RT-DETR模型结构详解，在Ultralytics项目中配置rtdetr-resnet18、rtdetr-resnet34
Limiiiing的博客
01-21 1336
RT-DETR是一种实时端到端的目标检测模型，主要由 骨干网络、高效混合编码器和 带有辅助预测头的 Transformer 解码器组成。本文对其进行了详细分析，并在项目中配置了结构。
RT-DETR
weixin_65802479的博客
10-18 1131
RT-DETR 的网络架构是通过结合 CNN 和 Transformer 的优势，优化了目标检测流程，能够高效、准确地完成目标检测任务。其自注意力机制和特征融合技术使得模型能够处理复杂场景中的物体检测。
目标检测算法之RT-DETR
weixin_52862386的博客
06-27 3052
对RT-DETR的encoder部分，整体看下来像是yolo的backbone+neck。RT-DETR的核心还是在增速上，所以这里它的优化思想是值得借鉴的，但是yolo结构跟DETR结构之间的界限越来越模糊了。对query的优化上，只是做了对齐，使其选择的query更加精确。整体而言模型的创新不大。虽然DETR提倡的是NMS-Free，但是对于某些对精装度要求较高的任务中，如果阈值设置过低，导致最后得出的框过多，仍然需要借助NMS的方法去改进。设置过高则存在丢框的问题。
RT-DETR代码详解（官方pytorch版）——模型加载（2）
小小老大MUTA的博客
01-08 1612
找到在RT-DETR中，模型和数据集是怎么传入train_ine_epoch中进行训练的
[转]RT-DETR推理详解及部署实现-CSDN博客
chinagudujian的专栏
01-04 4331
是由 Baidu 提出的基于 transformer 的端到端实时检测器，本篇文章主要分享博主在实现 RT-DETR 推理和部署时做的一些尝试，不涉及任何的原理性分析。若有问题欢迎各位看官批评指正😄博主在这里针对 RT-DETR 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
pengxiang1998的博客
05-31 8096
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
RT-DETR 基于Transformer的目标检测模型介绍及微调训练
小毕超博客
11-03 3440
RT-DETR是基于Transformer的目标检测模型,DETR的基础上采用了高效的混合编码器和IoU感知,有效降低了计算成本、提高了检测精度。
rt-detrv3网络结构
03-16
### RT-DETRv3 网络结构分析 RT-DETRv3 是一种基于 Transformer 的实时端到端目标检测算法，其核心在于通过引入分层密集正监督方法以及一系列创新性的训练策略，解决了传统 DETR 模型收敛慢和解码器训练不足的问题。以下是 RT-DETRv3 的主要网络结构特点： #### 1. **基于 CNN 的辅助分支** 为了增强编码器的特征表示能力，RT-DETRv3 引入了一个基于卷积神经网络 (CNN) 的辅助分支[^3]。这一分支提供了密集的监督信号，能够与原始解码器协同工作，从而提升整体性能。 ```python class AuxiliaryBranch(nn.Module): def __init__(self, in_channels, out_channels): super(AuxiliaryBranch, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(out_channels) def forward(self, x): return F.relu(self.bn(self.conv(x))) ``` 此部分的设计灵感来源于传统的 CNN 架构，例如 YOLO 系列中的 CSPNet 和 PAN 结构[^2]，这些技术被用来优化特征提取效率并减少计算开销。 --- #### 2. **自注意力扰动学习策略** 为解决解码器训练不足的问题，RT-DETRv3 提出了一种名为 *self-att 扰动* 的新学习策略。这种策略通过对多个查询组中阳性样本的标签分配进行多样化处理，有效增加了阳例的数量，进而提高了模型的学习能力和泛化性能。 具体实现方式是在训练过程中动态调整注意力权重分布，确保更多的高质量查询可以与真实标注 (Ground Truth) 进行匹配。 --- #### 3. **共享权重解编码器分支** 除了上述改进外，RT-DETRv3 还引入了一个共享权重的解编码器分支，专门用于提供密集的正向监督信号。这一设计不仅简化了模型架构，还显著降低了参数量和推理时间，使其更适合实时应用需求。 ```python class SharedDecoderEncoder(nn.Module): def __init__(self, d_model, nhead, num_layers): super(SharedDecoderEncoder, self).__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_layers) def forward(self, tgt, memory): return self.decoder(tgt=tgt, memory=memory) ``` 通过这种方式，RT-DETRv3 实现了高效的目标检测流程，在保持高精度的同时大幅缩短了推理延迟。 --- #### 4. **与其他模型的关系** 值得一提的是，RT-DETRv3 并未完全抛弃经典的 CNN 技术，而是将其与 Transformer 结合起来形成混合架构[^4]。例如，它采用了 YOLO 系列中的 RepNCSP 模块替代冗余的多尺度自注意力层，从而减少了不必要的计算负担。 此外，RT-DETRv3 还借鉴了 DETR 的一对一匹配策略，并在此基础上进行了优化，进一步提升了小目标检测的能力。 --- ### 总结 综上所述，RT-DETRv3 的网络结构主要包括以下几个关键组件：基于 CNN 的辅助分支、自注意力扰动学习策略、共享权重解编码器分支以及混合编码器设计。这些技术创新共同推动了实时目标检测领域的发展，使其在复杂场景下的表现更加出色。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值