最近可灵AI很火,看到网上生成的效果也很赞啊,之前发现快手可灵开源了LivePortrait,今天去玩了一下,很有意思。
比如下图官方展示效果:
这些图片开始自带表情了,主要就是通过LivePortrait来实现。
LivePortrait简单来说就是“表情转移”,即提供一张图片、一个参考的视频,LivePortrait通过AI的运算,就可以把参考视频的表情动作原封不动的复刻到图片上。同时也还能实现同步视频中的人在说,图片复原你的表情。是不是很有意思。
核心方法,在官方的文档上也有介绍:https://liveportrait.github.io/
更详情的可以参考发表的论文:https://arxiv.org/pdf/2407.03168
Huggingface也提供了在线体验链接:
https://huggingface.co/spaces/KwaiVGI/LivePortrait
在操作界面也提供了一些基础的视频和图片可选择。
使用方便快捷,尝鲜体验还是不错的,比如我生成了一张之前生成图片的动图视频:
目前在ComfyUI已经有对应的插件可以生成了,
节点:ComfyUI-LivePortraitKJ
地址:https://github.com/kijai/ComfyUI-LivePortraitKJ
在节点管理中或代码中按钮对应节点:
加载对应的工作流:
实现效果如下:
通过这个我们就能实现很多可玩的点,包括表情,简单动漫说等等, 后面新的技术和尝试会继续分析,关于今天使用的ComfyUI后面也会系列教程,欢迎大家继续关注"壁虎说技术"。