每个人都可以成为虚拟主播，一键创建属于你的虚拟形象，RAIN 为你实时生成逼真动画角色

本文链接：https://blog.csdn.net/qq_19841021/article/details/145194341

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

功能：支持实时动画生成、无限视频流处理、高质量与一致性保障。
技术：基于帧标记注意力机制、去噪优化、一致性模型和流扩散技术。
应用：适用于虚拟角色互动、动画制作、虚拟主播和在线教育等场景。

正文（附运行示例）

RAIN 是什么

RAIN

RAIN（Real-time Animation Of Infinite Video Stream）是一款创新的实时动画生成工具，旨在基于消费级硬件（如单个 RTX 4090 GPU）实现无限视频流的实时动画化。其核心在于高效计算不同噪声水平和长时间间隔的帧标记注意力，同时去噪大量帧标记，以极低的延迟生成视频帧，保持视频流的长期连续性和一致性。

RAIN 通过引入少量额外的一维注意力块，对 Stable Diffusion 模型进行微调，能在几轮训练后，实时、低延迟地生成高质量、一致性的无限长视频流。这一技术在实时动画领域具有重大意义，为在线互动、虚拟角色生成等应用场景提供了强大的技术支持。

RAIN 的主要功能

实时动画生成：能在消费级 GPU 上，如单个 RTX 4090，以低延迟实时生成动画，适用于需要实时互动的场景，如直播、在线会议等。
无限视频流处理：打破了视频长度的限制，可以持续生成无限长的视频流，满足长时间直播或连续动画展示的需求。
高质量与一致性保障：通过在不同噪声水平和长时间间隔内高效计算帧标记注意力，确保生成的视频在视觉质量上保持高标准，同时维持长期的连续性和一致性。
模型微调与适配：对 Stable Diffusion 模型进行针对性微调，快速适应实时动画生成任务，仅需少量训练周期就能达到理想的生成效果。

RAIN 的技术原理

帧标记注意力机制：通过扩大 StreamBatch 的大小，将每 p 个连续的帧标记分配到具有相同噪声水平的去噪组中，逐步增加这些组的噪声水平，显著提高了生成视频流的一致性和连续性。
去噪过程的优化：结合不同去噪组之间的长期注意力，跨噪声水平的注意力计算有效提高了连续性和视觉质量。
一致性模型的应用：基于一致性模型（Consistency Model）来加速扩散模型的采样过程，通过一致性蒸馏损失函数，训练能快速采样的模型，实现多步采样。
流扩散技术：借鉴流扩散（Stream Diffusion）技术，将不同噪声水平的帧推入一个批处理中，充分利用 GPU 的批计算能力。
参考机制：通过预训练的 2D UNet 作为 ReferenceNet，对参考图像进行推理，缓存空间注意力操作前的输入隐藏状态。
两阶段训练策略：第一阶段训练参考网和姿势引导器以及去噪 UNet，第二阶段对视频帧添加噪声，根据特定的时间步长对运动模块进行微调，适应时间变化。

如何运行 RAIN

1. 安装依赖

首先确保 Python 版本 >= 3.10，并安装 PyTorch（推荐版本 >= 2.3.0）。

git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN
pip install -r requirements_inference.txt

2. 下载权重

从 Google Drive 或 HuggingFace Hub 下载 RAIN 的权重文件，并将其放入 weights/torch/ 目录中。

3. 启用 TensorRT 加速

在 configs/rain_morpher.yaml 中，将 tensorrt: False 修改为 tensorrt: True 以启用 TensorRT 加速。

4. 启动演示

执行以下命令启动演示：

python gradio_app.py

然后在浏览器中打开 http://localhost:7860/，上传角色上半身肖像，启用摄像头并调整参数即可开始实时动画生成。

资源

项目官网：https://pscgylotti.github.io/pages/RAIN
GitHub 仓库：https://github.com/Pscgylotti/RAIN
arXiv 技术论文：https://arxiv.org/pdf/2412.19489

🥦 微信公众号｜搜一搜：蚝油菜花 🥦