AI对口型假唱数字人软件（可本地安裝）

最新推荐文章于 2024-05-10 08:48:59 发布

知行AI社

最新推荐文章于 2024-05-10 08:48:59 发布

阅读量963

点赞数

分类专栏： AI 文章标签： ai

本文链接：https://blog.csdn.net/sd1232/article/details/135039152

版权

AI 专栏收录该内容

15 篇文章 1 订阅

订阅专栏

今天来聊聊AI对嘴型。其实AI对嘴型不是一个新技术，把整个脸换了都没有问题了，那小小一张嘴巴还搞不定呢。不过光动嘴也不行，很容易造成皮笑肉不笑的感觉，如果把头也动起来，那这样是不是就真实多了？

今天介绍几种AI对嘴型的办法，输入的内容可以是一张图片，也可以是一段视频，经过处理之后，里面的人物就可以根据你输入的语音进行讲话，并且可以加入头部动作，让人物显得更加自然。

第一种方法呢，就是使用Github上一个开源的软件，名字叫Sad Talker，目前来说它是8000多星，也是非常的热门。

这个软件有几种方法,最方便呢？是通过discord，可以看见这里有一个FLOOR33的按钮。

点击这个按钮我们就会进入一个discord的频道，在disco频道里边点击这里的talking video。

然后可以看见在这里边已经有很多人生成了不同的视频，有兴趣可以点开看一看。

这个命令是怎么样的，点击这里，然后点击斜杠，输入say，然后点击上面可以看见它。这里有一个image加audio，image就是你的图片，Audio就是你的音轨，我们把照片和音轨都输进去以后，后面还可以加一点参数，这个enhancer可以把它打开，开成true这个。

其他的可以选择默认点击回车，它就可以开始生成了。

discort的缺点就是你做出来的视频这里所有人都可以看，如果你想进行私密一点的对话，那可以进入第二种办法，那就是进入他的hugging face进行生成，在这里呢，有hugging face这个space，点右键点开就可以进入一个hugging face的space，它这个space完全是可以用的，不过有时候会比较忙，需要排队，你可以把它的space进行一些stupidate开到你自己的空间去，这样就给你自己一个人使用，完全是免费的。

比如说她这里是一个小女孩在说中文，这是一张全身照，把她的头给抠下来。

他这个语音是用AI合成的，如果你是一个自然的语音输入，那会非常的自然，或者可以看一下用其他的语言，他在hugging face上它的功能比discord的多一点，在这里呢，他可以输入一个视频，进行视频的捕捉，这样的话他整个人摇头晃脑的就可以参照原来的视频进行输出，而不是一张静态的照片。并且在这里呢，他可以有更多的preprocess进行选择，如果你只需要一张脸，就选择crop，如果你需要全身，就可以选择full，其他的你也可以试一下。另外建议把这个脸部增强给打开，不然脸会崩掉。

如果你不想在远程运行，在Windows电脑它也是可以本地运行的，但是试了很多种办法，唯一能够跑出来的也就是这个automatic 11 11，也就是Stable Diffusion Web UI。

它是可以安装成功的，其他的办法我还真的没有安装成功，在这里就演示一下如何安装这个automatic的插件。首先复制一下项目地址，打开你的Stable Diffusion Web UI，然后进入extensions，点击install from URL。

这个时候把它的项目地址给粘贴进去，点击install，install完成以后，它这里会出现一行字，Installed into某一个目录，然后它提示需要重启，回到install的标签页，我们先不用点这个重启，我们把这个给勾上，我们还需要下载几个模型回到github的页面，然后点击这里release，在这里0.02的release下面可以看见除了这两个源代码，有四个模型文件，要把这四个模型文件都下载下来，当然这个256的你可以不下，如果你只做512乘512的图像的话，256是可以不用下的，打开的任务管理。