虚拟人火了，你准备好了吗？

已于 2022-03-17 18:11:05 修改
阅读量5.8k 收藏 60
点赞数 2
分类专栏： 虚拟人 文章标签： 人工智能 深度学习
于 2022-03-17 17:45:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vivisl/article/details/123548977
版权

AI虚拟人算法整理汇总


从2019年开始接触虚拟主播到现在，各个方向的项目多多少少都做过一遍。近期打算整理虚拟人相关算法资料，会不定时更新，敬请关注。虚拟人算法相关分类与应用主要有这几种： 虚拟人脸（人脸生成）、 人脸同步以及 AI换脸。

Ayayi、阿喜、柳夜熙这种偏向建模类型的虚拟人会另外开贴介绍，敬请期待。

一、虚拟人脸

代表算法有 Nvidia Lab 研究发布的 StyleGan 系列开源代码。
StyleGan 是由英伟达实验室发布的虚拟人脸生成算法，可以无中生有，生成非常逼真的虚拟人(数字人)。AI通过学习大量的高清人脸图片之后，就能生成几十亿现实世界中不存在的人脸。

1. StyleGan

A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
Github: https://github.com/NVlabs/stylegan

These people are not real – they were produced by our generator that allows control over different aspects of the image.

StyleGan: These people are not real – they were produced by our generator that allows control over different aspects of the image.

2. StyleGan2

Analyzing and Improving the Image Quality of StyleGAN (CVPR 2020)
Github: https://github.com/NVlabs/stylegan2
在这里插入图片描述

3. StyleGan2-ada

Training Generative Adversarial Networks with Limited Data (CVPR 2020)

Github: https://github.com/NVlabs/stylegan2-ada-pytorch

4. StyleGan3

Alias-Free Generative Adversarial Networks (CVPR 2021)
Github: https://github.com/NVlabs/stylegan3

stylegan 出现的时候已经让人惊掉下巴了，第三代更加细腻逼真。具体改进可以看github主页。
在这里插入图片描述

二、人脸同步

1. First Order Model

First Order Motion Model for Image Animation (NeurIPS 2019)
Github: https://github.com/AliaksandrSiarohin/first-order-model
在这里插入图片描述

2. Avatarify

Photorealistic avatars for video-conferencing.
Github: https://github.com/alievk/avatarify
在这里插入图片描述

3. PC-AVS: Talking Face Generation

Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation (CVPR 2021)
Github: https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS

三、AI换脸

1. FaceSwap

FaceSwap is a tool that utilizes deep learning to recognize and swap faces in pictures and videos.
Github: https://github.com/deepfakes/faceswap

Jennifer Lawrence/Steve Buscemi FaceSwap using the Villain model

在这里插入图片描述

2. DeepFaceLab

DeepFaceLab: Integrated, flexible and extensible face-swapping framework (CVPR 2021)
Github: https://github.com/iperov/DeepFaceLab
在这里插入图片描述

3. DeepFaceLive

Github: https://github.com/iperov/DeepFaceLive

四、嘴型生成

1. LipGan

Towards Automatic Face-to-Face Translation (CVPR 2020)
Github: https://github.com/Rudrabha/LipGAN

2. Wav2Lip

A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild (CVPR 2020)
Github: https://github.com/Rudrabha/Wav2Lip

3. MakeItTalk：

MakeItTalk: Speaker-Aware Talking-Head Animation
Github: https://github.com/yzhou359/MakeItTalk
在这里插入图片描述

vivisl
关注
  • 2
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚拟人脸 - 每张人脸在世界上均不存在（附带生成web服务提供api接口）
954L
04-22 284
【代码】虚拟人脸 - docker搭建stylegan3并提供api接口。
爆火的Sora背后是什么？有哪些应用？首篇Sora综述来了！
3D视觉工坊
03-09 351
Sora是一种文本到视频生成的人工智能模型，由OpenAI于2024年2月发布。该模型经过训练，能够从文本指令中生成逼真或想象的场景视频，并显示出在模拟物理世界方面的潜力。基于公开的技术报告和逆向工程，本文对该模型的背景、相关技术、应用、尚存挑战以及文本到视频人工智能模型未来发展方向进行了全面审查。我们首先追溯了Sora的发展历程，并调查了用于构建这个"世界模拟器"的基础技术。然后，我们详细描述了Sora在从电影制作、教育到营销等多个行业中的应用和潜在影响。
虚拟现实 人脸识别1
qq_43716281的博客
04-23 2023
百度智能云人脸识别 先注册号自己账号Wie后续的实验准备好！ 百度智能云网址如下： 链接 注册号账号，身份认证啥的 很快滴 。 在控制台选择人脸识别，因为是学生所以我就没有能够企业认证暂时不影响我们接下来的实验啦。 创建一个新应用，名字和描述自己稍微写一写就可 这边的AppID,APIKey,SecretKEY后面会用到，问题不大。现在也不要记，用的时候过来复制一下就可以了，知道有zei信息就可了 创建好了会有skd资源，下载C#SDK，因为我们后面要用到unity3D它是需要C#的。 这
阿里终于开源数字人技术！！
最新发布
musicml的博客
07-29 509
▼最近直播超级多，预约保你有收获—1—数字人技术的难点数字人技术目前在很多场景都已经落地，包括：虚拟数字人直播，大幅提升了直播效率并降低了公司成本。但是在数字人行业解决方案的研发过程中，关键的技术挑战主要涵盖以下几点：确保人物模型动作的流畅性与自然度，并结合灵活多变的直播语言表达技巧，以达成栩栩如生的数字人主播效果。尽管市面上已有众多商业平台推出了一系列解决方案，但此次，蚂蚁集团的支付宝开源了其数...
正面虚拟人脸合成
01-13
参考Chai, Xiujuan, et al. "Locally linear regression for pose-invariant face recognition." Image Processing, IEEE Transactions on 16.7 (2007): 1716-1725.实现的matlab代码。可以根据一张侧脸图像合成一张虚拟正面人脸
好看的3D虚拟人脸围观啦
jxsl6的博客
07-24 1174
　　伴随着科技的进步信息化数字化和虚拟化技术不断在生活中被应用在各种场景下，那么好看的3D虚拟人脸如何生成呢？小编推荐百度人脸3D虚拟形象生成，下面我们来看具体内容： 　　 　　人脸3D虚拟形象生成：只要有单张的自拍图，个性化的人脸表情基底便可自动生成，广泛应用在社交、直播、游戏等涉及人物建模的场景，可帮助用户及开发者快速、低成本构建美观的相似度高的3D虚拟形象。还具有语音驱动、人脸表情的能力，让开发者可快速进行全站应用搭建。主要具有人脸三维特征提取、三维风格转换、自动表情基底生成的能力。 　　人脸
LipGAN:该存储库包含LipGAN的代码。 LipGAN作为题为“迈向自动面对面翻译”的论文的一部分而发表
05-04
立普 为任何人类演讲和面Kong身份生成逼真的说话面Kong。 | | 重要更新： 此处提供了一项经过改进的新作品，可以在移动说话的面部视频时产生更加准确和自然的结果： ： 现在，在fully_pythonic分支中可以使用没有MATLAB依赖项的代码。 请注意，两个分支中的模型并不完全相同，并且在某些情况下，其中一个的性能可能会优于另一个。 本文发表时使用的模型具有MATLAB依赖性，并且已经过广泛测试。 如果您不想拥有MATLAB依赖项，请随时尝试使用fully_pythonic分支。 还可以为fully_pythonic分支使用Google Colab 。 [提供者： ] 特征 可以处理狂野的面部姿势和表情。 可以处理任何语言的语音，并且对背景噪声具有鲁棒性。 将面Kong粘贴到原始视频中，而不会产生最少的伪影-可以潜在地纠正配音电影中的口形同步错误！ 完整的多G
130 行代码模仿火爆抖音的“蚂蚁呀嘿”特效，你学会了吗？
m0_54851388的博客
02-22 634
【CSDN 编者按】最近很火的AI换脸来啦，本文具体操作步骤已献上，快来get一下吧。 作者 | 峰华 出品 | CSDN（ID：CSDNnews） 过去一年，线上视频会议软件异军突起，成为了在家办公的主要沟通渠道。而最近抖音中能够让照片张嘴唱歌的“蚂蚁呀嘿”特效也突然火了起来，那我就想了想能不能在视频会议的时候换张脸活跃下气氛？ 在 GitHub 上一番搜寻之后发现还真有办法，有一个开源的 Python 人工智能换脸的库，那正好趁着这个机会研究一下前端 WebRTC 实现视频通话功能，外加换脸操作。 先.
为什么很多人会觉得FPGA难学？
ONEFPGA的博客
06-28 4177
以上是个人的一些见解，但是没有涉及到具体市场行情、工资待遇，本人在去年年底到今年年初，从各个方向做过半年的市场调研，由于篇幅原因，这里就不给大家去说了，后续有时间再整理一下，相信各种选择FPGA的大侠们，应该都发现了FPGA现在确实很火，尤其近两年，一句话总结，市场行情、薪资待遇，无可挑剔，但是，前提是技术硬实力过关。 对于FPGA的展望，这里放一张原来做报告的图吧，其他的就不过多说了。 图片 FPGA的学习其实就像学习围棋一样，学会如何在棋盘上落子很容易，成为一位高手却是难上加难。要真成为李昌镐那样
软件和互联网都有哪些就业方向？你适合做程序员吗？
qf2019的博客
09-19 352
大学生在校期间可能会有这样的疑问：将来就业干啥好呢？ 如果你是学计算机的，将来想进入软件和互联网行业， 恭喜， 这是个好行业， 薪水很高， 也不需靠关系， 一切靠实力说话， 不需要有个好爸爸。 坏处是，这个行业需要极为繁重的脑力和体力劳动，加班也是司空见惯的事情。 接下来的问题是：现在软件和互联网大概有哪些方向？看看下文的解释： 1、首先是需求从哪里来? 1.1 客户的项目 如果做的是客户的项目，...
开篇之作，什么是云原生，云原生技术为什么这么火？
热门推荐
梵高
04-09 2万+
为了能够给大家尽可能说出云原生是个什么东西，我读了很多很多文章，拜访了很多名家，包括业界的知名大佬、年薪千万的骨灰级专家、名下数十万记学生的成功学大师，真是生怕自己才疏学浅耽误了大家，所以我希望大家能看到最后，也希望这篇文章能够给你带来收获。......
Talking-Face_PC-AVS:通过隐式模块化视听表示生成姿势可控制的说话人脸的代码（CVPR 2021）
05-13
通过隐式模块化视听表示进行姿势可控的会说话脸生成（CVPR 2021） ，孙亚生，，，和。 | | 我们提出了可姿势控制的视听系统（PC-AVS） ，该系统可在驱动带有声音的任意说话的面部时实现自由姿势控制。 代替从音频中学习姿势运动，我们利用另一个姿势源视频来仅补偿头部运动。 关键是设计一种隐含的低维姿势代码，该代码不包含嘴巴形状或身份信息。 通过这种方式，将视听表示模块化为三个关键因素的空间：语音内容，头部姿势和身份信息。 要求 使用Python 3.6和 1.3.0。 基本要求在“ requirements.txt”中列出。 pip install -r requirements.txt 快速入门：生成演示结果 下载预训练的检查点。 创建默认的文件夹./checkpoints并解压demo.zip在./checkpoints/demo 。 其中应该有5 pth 。 解压缩mi
人脸生成GAN
06-26
你将使用生成式对抗网络来生成新的人脸图像,有些模板代码已经提供给你，但还需要实现更多的功能来完成这个项目,也提供答案
wav2lip
王东辉的博客
07-27 1743
这项工作主要研究了用任意身份的语音或者视频来驱动另外一个语音视频。目前的工作擅长在特定的人的静态图片或视频产生准确的唇部动作。然而在动态的面部视频中，它们不能准确地变形任意身份的嘴唇动作，从而导致视频中重要的部分与新的音频不同步。本文确定了与此问题相关的关键原因，并在这里使用一个强大的唇口同步鉴别器学习来解决它们。接下来，提出了新的、严格的评估基准和度量标准来准确地度量无约束视频中的唇同步。
GAN人脸修复--Generative Face Completion
07-27 1万+
Generative Face Completion  CVPR 2017  https://arxiv.org/abs/1704.05838 Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion 首先来直观的认识一下人脸修复是什么？ 输入一个有缺失的人脸图像，得到完整的人脸图像  本文算法训练流程
StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via Pre-trained StyleGAN 译文
weixin_41967328的博客
07-18 785
图1。我们的统一框架支持高分辨率的通话人脸生成，通过驾驶视频或音频解除纠缠控制，以及灵活的人脸编辑。我们的方法首次将一次性会说话的人脸生成的分辨率提高到1024×1024。第一行显示了一个视频驱动的交叉身份再现的合成视频。第二行显示了一个由音频驱动的嘴唇运动生成的合成视频。第三行显示，在谈话视频生成过程中，我们可以通过GAN倒置在任何时间戳上一致地自由编辑面部属性。第四行显示，我们可以基于嵌入式3DMM执行直观的人脸编辑以及会说话的人脸生成。
北京内推 | 微软亚洲研究院机器学习组招聘说话人脸生成方向研究实习生
Paper weekly
03-26 276
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！微软亚洲研究院微软亚洲研究院机器学习组从理论、算法、应用等不同层面推动机器学习的前沿。在过去的十几年间，发表了大量被高度引用的论文（例如，梯度提升决策树LightGBM, 对偶学习Dual Learning, 预训练语言模型MASS, 快速语音合成FastSpeech, 达到人...
生成完美口型同步的 AI 数字人视频
久绊A的博客
05-16 1699
在当今数字媒体和人工智能技术的推动下，生成完美口型同步的AI数字人视频成为备受关注的研究领域。本研究旨在开发一种技术，能够实现生成完美口型同步的AI数字人视频，使虚拟人物的口型与语音内容完美匹配。采用了深度学习方法，结合了语音识别、面部运动生成和视频合成技术，以实现这一目标。通过语音识别模型将输入的文本转换为音频波形，利用面部运动生成模型根据音频波形生成对应的面部动作序列，这些动作序列可以准确地反映出发音的口型和面部表情，最后生成口型同步的AI数字人视频。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值