“photo wake-up”创新项目实训第一周开题总结

项目名称:“photo wake-up”基于二维图像的三维人体模型重建

项目开始时间:2019年3月16日

项目背景:
《哈利波特》世界里有一种神奇的魔法报纸,报中照片上的人物可以动起来,看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳,现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究,使用AI算法,实现这个过程。华盛顿大学的几个科学家已经研究出来这样的算法,他们提出了一种使单一图片中的人物动起来的方法,图中的人物在三维场景下可以行走,奔跑,坐下或跳跃。
官方表示成果:https://grail.cs.washington.edu/projects/wakeup/
但是网站始终没有表示要公开代码,网民也表示出对成果真实性的质疑,这是一个十分有创意的事情,我们希望能把他们的算法实现出来,希望能应用于AR领域。

主要内容
给定一张图片,进行图像分割和人物姿态预测,提取画中人的2D骨骼关键点。将一个通用的SMPL人体模型(带骨骼与蒙皮的)fit到输入图像,将SMPL的2D轮廓Warp到估计出的人体2D轮廓,将此Warp应用到法向图、深度图、蒙皮权重图.根据得到的这些图,重构出网格(带骨骼与蒙皮信息),再将现有的运动捕捉数据,应用于重建之后的模型上,产生动画。

技术路线
我们整个工作首先需要学习TensorFlow框架以及opencv库的使用,并且成功运行第一部分的代码,得到人体二维关节点预测图以及SMPL模型,之后在进行第二三部分的算法研究,最后将运动捕捉数据应用到重建的模型中。

预期成果
以二维图像为输入,能重建图像中的三维人体模型动画,使图像上的人物动起来。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值