—theme: theme-orange —
分享内容直达
2024最全大厂面试题无需C币点我下载或者在网页打开全套面试题已打包
AI绘画关于SD,MJ,GPT,SDXL百科全书
文末领取项目地址和Github地址
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui
强烈推荐阅读👆👆👆
MuseV:基于视觉条件并行去噪的无限长高保真虚拟人视频生成
一个实时的高质量口型同步模型,可以与MuseV一起作为完整的虚拟人生成解决方案
MuseV
是一个基于扩散的虚拟人视频生成框架,它
- 支持使用新颖的视觉条件并行去噪方案生成无限长度。
- 检查点可用于在人类数据集上训练的虚拟人类视频生成。
- 支持 Image2Video、Text2Image2Video、Video2Video。
- 兼容 Stable Diffusion 生态系统,包括 、 、 等。
base_modelloracontrolnet
- 支持多参考图像技术,包括 、 、 、 。
IPAdapterReferenceOnlyReferenceNetIPAdapterFaceID
视频合集
https://www.bilibili.com/video/BV1Uj42197WR
提示词:
(masterpiece, best quality, highres:1),(1girl, solo:1),(beautiful face, soft skin, costume:1),(eye blinks:{eye_blinks_factor}),(head wave:1.3)
(masterpiece, best quality, highres:1),(1girl, solo:1),(beautiful face, soft skin, costume:1),(eye blinks:{eye_blinks_factor}),(head wave:1.3)
架构
- 视频生成类型有限,运动范围有限,部分原因是训练数据类型有限。发布的版本已经在大约 60K 的分辨率下进行了人类文本-视频对的训练。 具有更大的运动范围,而在较低分辨率下具有较低的视频质量。 倾向于在高视频质量下产生较小的运动范围。在更大、更高分辨率、更高质量的文本视频数据集上进行训练可能会更好。
MuseV512*320MuseVMuseVMuseV
- 水印的出现可能是因为。带有水印的更干净的数据集可能会解决这个问题。
webvid
- 长视频生成类型有限。视觉条件并行降噪可以解决视频生成的累积误差,但目前的方法只适用于相对固定的摄像机场景。
- 由于时间和资源有限,训练不足的referencenet和IP-Adapter。
- 结构化代码不足。 支持丰富和动态的功能,但具有复杂且未经过修改的代码。这需要时间来熟悉。
MuseV
项目地址:
- GitHub:https://github.com/TMElyralab/MuseV
- HuggingFace:https://huggingface.co/TMElyralab/MuseV