使用锚框架捕获高质量被动面部表现

**核心工作:**提出一种基于锚框架的被动照明(LED灯)且不需要做面部标记的表情捕获技术。该技术能够适配富有表现力以及快速运动的面部表情,并且能以最小的漂移再现极端表情形变,在实现上不需要演员进行化妆直接从视频中获得变化纹理,可以实现重建长时间序列。
锚框架:
1. 强大的网格跟踪算法,在图像空间中集成跟踪,并将单个参考网格通过跟踪路径传播到每个帧(N张图片一个帧)
2. 由于长时间的面部表现会包含很多相似的框架,因此可以通过锚框架来是校正图像跟踪器产生的积累误差。
技术对比:
1. 动作捕捉:精度较低,面部模型的呈现只能是低分辨率的,无法表现演员的逼真细节;
2. 被动照明(结构光):可以产生较有表现力的模型,但需要给面部进行标记,并且要获得面部颜色或纹理就必须先从视频中移除标记,无法进行孔隙级别的捕捉;
3. 主动照明(红外光):同上,且灯光硬件设备昂贵;
4. 被动捕获+图像几何方法:精度高,面部模型分辨率高;被动照明,不需要标记,简单廉价的LED照明设备。
面部捕捉算法:
在这里插入图片描述
1. 网格初始化:估计面部区域划分网格
2. 锚定:选定参考帧(R)作为锚定的网格(人工选择或者统计计算)
3. 空间图像跟踪:通过参考帧跟踪每帧变化的轨迹(计算归一化帧之间互相关函数)
4. 网格传播:沿着跟踪到的帧变化轨迹计算新的网格在空间的位置坐标
5. 网格细化:确定了网格的位置后进一步计算重建网格的细节
结果讨论:
1. 第一行输入图像,第二行几何模型,第三行网格渲染,第四行模型重建;面部模型重现图形质量很高;
2. 图一输入图像,图二基线重建效果,图三本文重建效果,图四五六是网格变化;本文使用的网格技术更好地适配了面部网格形变并且没有产生太大的跟踪偏移;
3. 如图下嘴唇遮挡上嘴唇的情况依然做出了较好的重建效果,表明锚框架对于时间顺序移动出现的例如无法避免的跟踪偏移,快速运动或遮挡引起的跟踪失败的处理效果;
4. 较好地重建快速运动或者模糊运动的模型。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值