StoryWeaver：故事可视化生成模型，快速生成故事绘本，支持处理单角色和多角色的故事可视化任务

本文链接：https://blog.csdn.net/qq_19841021/article/details/144874587

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

功能：StoryWeaver 通过角色定制和知识图谱技术，生成与文本叙述相匹配的图像序列。
技术：采用 Character Graph 和知识增强空间引导技术，确保角色身份和语义对齐。
应用：广泛应用于教育、漫画创作、互动游戏、广告和电影预览等领域。

正文（附运行示例）

StoryWeaver 是什么

公众号: 蚝油菜花 - StoryWeaver

StoryWeaver 是由厦门大学多媒体可信感知与高效计算教育部重点实验室和网易伏羲人工智能实验室联合推出的 AI 模型。它通过知识增强的角色定制技术，实现高质量的故事可视化。StoryWeaver 利用新颖的知识图谱 Character Graph 来丰富地表示故事中的角色、属性和关系，并通过 Customization via Character Graph（CCG）和知识增强空间引导（KE-SG）技术，精确地注入角色语义，生成与文本叙述相匹配的图像序列。

该系统在保持角色身份和文本语义对齐方面表现出色，有效提升了故事可视化的准确性和生动性。

StoryWeaver 的主要功能

角色定制与可视化：根据文本叙述和角色图像生成一系列视觉化的故事图像，精确定制给定角色的形象。
语义对齐：系统能确保生成的图像序列与文本提示在语义上保持一致，即图像内容与文本描述相匹配。
知识图谱应用：系统能理解和表示故事中角色的详细属性和角色间的关系。
多角色互动：StoryWeaver 能处理多角色故事场景，保持每个角色的身份清晰，展现角色间的自然互动。
跨注意力分配：优化多角色故事中的注意力分配，避免身份混合问题。

StoryWeaver 的技术原理

Character Graph (CG)：构建一个知识图谱 CG，用对象节点（角色）、属性节点（与角色相关的属性）和事件（角色间的关系）组成，共同定义故事场景的核心要素。
Customization via Character Graph (CCG)：基于 CCG，将 CG 中的结构化知识转化为增强的场景描述，提高角色身份保持和事件语义对齐的一致性。
知识增强空间引导（KE-SG）：引入知识编码器提取不同角色的特征，根据角色特征调整初始位置先验，修改错误的交叉注意力图，确保角色知识准确地关注故事场景中的相应区域。
注意力机制修改：基于修改注意力图增强与角色相关的区域，减少与角色无关区域的关注度，提高多角色故事的视觉质量。
统一框架：StoryWeaver 提供统一的框架，能同时处理单角色和多角色的故事可视化任务。

如何运行 StoryWeaver

1. 训练 StoryWeaver

使用以下 shell 脚本进行训练：

bash train.sh

2. 从 StoryWeaver 生成样本

使用以下 shell 脚本生成样本：

bash sample.sh

资源

GitHub 仓库：https://github.com/Aria-Zhangjl/StoryWeaver
arXiv 技术论文：https://arxiv.org/pdf/2412.07375

🥦 微信公众号｜搜一搜：蚝油菜花 🥦