FilmAgent：多智能体共同协作制作电影，哈工大联合清华推出 AI 驱动的自动化电影制作工具-CSDN博客

本文链接：https://blog.csdn.net/qq_19841021/article/details/145373032

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

功能：FilmAgent 支持自动化剧本生成、镜头规划、语音合成等功能，模拟电影制作中的导演、编剧、演员等角色。
技术：基于多智能体协作框架，采用“批评-修正-验证”和“辩论-评判”策略，确保内容质量。
应用：适用于电影制作、创意视频生成、虚拟场景应用等场景，大幅提升制作效率。

正文（附运行示例）

FilmAgent 是什么

FilmAgent

FilmAgent 是由哈尔滨工业大学（深圳）与清华大学联合开发的基于多智能体协作框架的虚拟电影制作工具。它通过自动化流程实现虚拟3D空间中的端到端电影制作，模拟传统电影工作室的工作流程，涵盖规划、剧本创作和摄影三个阶段。

FilmAgent 的核心在于多智能体协作，模拟了电影制作中的关键角色，如导演、编剧、演员和摄影师。通过智能体之间的协作，FilmAgent 能够自动生成剧本、规划镜头，并在虚拟3D环境中执行拍摄。

FilmAgent 的主要功能

自动化剧本生成：根据用户输入的主题、风格和场景要求，自动生成完整的剧本，包括角色动作、对话、场景描述和镜头设置。
多智能体协作：模拟电影制作中的不同角色，通过“批评-修正-验证”和“辩论-评判”策略进行协作，优化剧本内容。
镜头规划与拍摄：根据剧本内容自动生成镜头设置，支持多镜头协作，处理复杂的镜头切换和场景转换。
语音合成：集成语音合成技术，为角色生成自然的语音对话，并确保语音与动作同步。

FilmAgent 的技术原理

Critique-Correct-Verify（批评-修正-验证）：在剧本编写阶段，智能体通过评审和修正机制确保内容的准确性和连贯性。
Debate-Judge（辩论-评判）：在摄影指导阶段，多个智能体通过辩论解决镜头设置差异，最终由导演智能体做出裁决。
基于LLM的内容生成：FilmAgent 基于大型语言模型（LLM）生成符合逻辑和叙事要求的剧本内容。
虚拟3D环境支持：在Unity 3D环境中运行，支持多种预定义的虚拟场景，如公寓厨房、客厅和会议室等。

如何运行 FilmAgent

1. 安装依赖

首先，创建一个虚拟环境并安装所需的依赖包：

conda create -n filmagent python==3.9.18
conda activate filmagent
pip install -r env.txt

2. 生成剧本

在 FilmAgent 目录下创建 Script 和 Logs 文件夹，修改 main.py 中的 topic 参数，并运行以下命令生成剧本：

cd /path/to/FilmAgent
conda activate filmagent
python main.py

3. 语音合成

ChatTTS：https://github.com/2noise/ChatTTS

下载 ChatTTS 并将其放置在 TTS 目录下，修改 tts_main.py 中的路径并运行以下命令：

cd /path/to/TTS
conda create -n tts python==3.9.18
conda activate tts
pip install -r tts_env.txt
python tts_main.py

4. 生成音频文件

修改 GenerateAudio.py 中的路径并运行以下命令生成音频文件：

cd /path/to/FilmAgent
conda activate filmagent
python GenerateAudio.py

5. 在 Unity 中执行脚本

下载 Unity 项目文件并打开 TheBigBang\Assets\TheBigBang\Manyrooms.unity，修改 StartVideo.cs 和 ScriptExecute.cs 中的路径，按 ctrl+R 重新编译，点击 Play 进入游戏模式，按 E 开始执行脚本。

资源

GitHub 仓库：https://github.com/HITsz-TMG/FilmAgent
arXiv 技术论文：https://arxiv.org/pdf/2501.12909

🥦 微信公众号｜搜一搜：蚝油菜花 🥦