南七小僧
C9博士,前百度、联想技术产品总监。深入理解人工智能技术研发与应用。
展开
-
ECCV 2024 | 数字人也懂惯性定律!上海AI Lab团队提出3D人体姿态序列建模 人体建模 多图3d建模
与现有数据集着装相比,我们为被试者穿上宽松的服装,如连衣裙和轻便外套,并进行复杂的加减速运动,如旋转后的突然停止、摆动和袖子的挥动。在网络设计上,也许输入的 SMPL 单帧姿态相同,但当外表不同时,往往意味着一段时间前的 SMPL 姿态序列不同,因此将姿态序列作为输入更能让网络感知到惯性。事实上,不同的速度和加速度模式下,人体在相同姿态下外表均会有不同程度的惯性表现,这是现有的人体 NeRF 无法理解的。因此,仅依赖单帧 SMPL 模型姿态的建模仍然存在固有的外表歧义,无法充分理解衣料的外表变化。原创 2024-07-31 15:35:22 · 157 阅读 · 0 评论 -
从多张图片重建3D模型(瞎七瞎八写了好多)
其实文章虽然写了很长,但并不能把我这两个多月所有的全部写进去,由于时间很短,我对三维重建这块的原理也是一知半解,所以,有疏漏有错误以及各种各种不好的地方,希望大家指出多多包涵。而且会遇到各式各样的问题。(这是一篇关于opencv3.1+contrib的配置大总结,里面有遇到的各式各样的问题,还有安装教程博客的推荐,以及作者自己编译好的半永久配置文件,特别好,我配置了三天,失败无数次,实属无奈,最后用的还是作者的半配置文件,但不知是我前一个配置的成功还是作者的半配置文件,反正吧,最后成功了,笔芯,强推!原创 2024-07-31 15:13:28 · 69 阅读 · 0 评论 -
虚幻UE5Matehuman定制自己的虚拟人,从相机拍照到UE5制作全流程
目前的皮肤纹理是Metahumen创建的,里面也没有脸色特定的痣或者斑等。图片烘焙好以后可以修改metahumen的贴图了,找到metahumen的面部贴图导出,进PS里面修改。Blender也可以烘焙高低模,但是扫描出来的模型面熟很高,blender容易崩溃,所以只能转到八猴。自动生成的区域显然不是我们想要的,点击此时我们要重构区域。在PS里面调了一下大概这样(我PS也不是很好,大家发挥自己的PS能力吧,做出更融合的效果)围绕自己拍照,大概20多张图就差不多了,把脑门漏出来,无需拍后脑勺。原创 2024-02-02 15:38:39 · 1657 阅读 · 0 评论 -
Vue+Three.js,三维3d模型 虚拟人 glb gltf
原因是设备的物理像素分辨率与CSS像素分辨率的比值的问题,我们的canvas绘制出来后图片因为高清屏设备的影响,导致图片变大,然而我们在浏览器的渲染窗口并没有变大,因此图片会挤压缩放使得canvas画布会变得模糊。该值也可以被解释为像素大小的比例:即一个CSS像素的大小相对于一个物理像素的大小的比值。渲染结果的横向尺寸和纵向尺寸的比值,这里我们使用的是 浏览器窗口的宽高比。透视相机用来模拟人眼所看到的景象,物体的大小会受远近距离的影响,它是3D场景的渲染中使用得最普遍的投影模式。原创 2023-11-29 23:02:49 · 2286 阅读 · 0 评论 -
虚拟数字人技术篇
光学动捕概念:光学动作捕捉技术就是在人的身体上进行标记,标记点的会反射到架设好的摄像机,通过反射的不同位置的成像信息,可以进行测算出标记点的空间运动信息,进而将这些信息进行定位或输出实现不同行业的实际应用。优点:1. 动捕精度高;2. 保真程度高。缺点:1. 技术复杂度和拍摄要求高;2. 造价成本高;3. 应用范围小。惯性动捕概念:惯性动作捕捉技术是在人的身上佩戴陀螺仪,人运动的过程陀螺仪会进行旋转,通过感知陀螺仪的旋转信息来推算出人的动作行为实现动作捕捉。优点:1. 价格相对较低。原创 2023-11-03 12:20:48 · 210 阅读 · 0 评论 -
前端+Python实现Live2D虚拟直播姬
①用的unity+live2d②有的用的steam的Vtube Studio这款软件③也有基于galgame的。,使用的pixi-live2d-display这个纯前端es6就可以实现前端的表情控制。不过这个没写口型的控制。对于pixi-live2d-display的口型控制,我在这个找到了方案。原创 2023-11-02 14:20:48 · 859 阅读 · 0 评论 -
使用网络摄像头进行眼睛注视估计 Mediapipe Gaze track
让我们看看下面的情况,你坐在图书馆里,你刚刚看到最漂亮的女人坐在图书馆的另一边。哎呀,她发现你在盯着她看。她估计你的目光在盯着她,而你通过理解她的目光指向你,注意到被她抓个正着。:一个人的眼睛聚焦的点眼睛识别和瞳孔定位确定头部和眼睛的 3D 定位商业凝视跟踪器有各种形状和大小。从眼镜到屏幕的基础解决方案。但是,尽管这些产品精度很高,但它们使用的是专有软件和硬件,而且非常昂贵。原创 2023-10-27 02:04:16 · 360 阅读 · 0 评论 -
分享6款文字语音生成驱动虚拟数字人说话的开源项目
对定性和定量结果的大量实验表明,我们的算法实现了高质量的照片真实感对话头部视频,包括根据语音节奏进行的各种面部表情和头部运动,并超过了最先进的水平。我们的系统包含三个阶段。当然,FACEGOOD Audio2face 部分也可根据自己的喜好进行重新训练,比如你想用自己的声音或其它类型的声音,或者不同于 FACEGOOD 使用的模型绑定作为驱动数据,都可以根据下面提到的流程完成自己专属的动画驱动算法模型训练。兼顾生成的韵律和外表的相似,除了面部,考虑到了头部的动作,虑了背景区域的artifact。原创 2023-10-25 23:59:30 · 1592 阅读 · 0 评论 -
三维重建开源代码汇总【保持更新】
开源代码汇总,不定期更新。原创 2023-09-02 15:17:37 · 489 阅读 · 0 评论