交互式3D展示的图文融合与视觉优化 创作平台 ——PosterCraft

已经完成的pipeline

设计师能够从线稿出发，通过AI技术生成成品图像，并进一步转化为3D模型和海报

已完成工作

1.线稿输入

2.基于controlnet（基于扩散的图像生成模型） 多角度成品图生成 用户选择一张用于生成海报

3.将选定图像转换3d模型，调研测试了Wonder3D、Image Dream、MVDream-three studio、HiFA、GeoDream、3DFuse-three studio和Gaussian Dreamer

4.各个模型进行测试与整合,如三维生成部分为了更实时地向用户展示结果,调整了光线追踪的部分渲染逻辑,在使用更少的采样数的情况下减少精度损失

5.接收seg-image传入llm生成海报标语 根据prompt生成layout XML格式的布局指导 包括seg-image，icon，标语的摆放位置和大小，字体字号颜色选择和位置

6.根据image生成icon和bg的prompt 传入SDXL ，XML文件和和image，icon，bg输入给下一个模块

7.调研了图像和谐化的各种方法，部署图像和谐化到pipeline中

8.读取xml布局信息拼合图片并生成文字：输入图片和mask，用mask把每一张图片抠出，接着输入背景图片，根据背景图片大小和xml中图片布局信息把抠出来的图片摆放到对应位置生成新的总的前景图片。输入前景和背景图片进行图像和谐化，然后读取文字相关的布局信息，把文字按要求显示到和谐化后图片对应的位置上生成最终海报。

下一步工作

整合进前端，进一步完善pipeline，不是简单生成背景,先生成一个不太一样的产品图,然后用我们的产品替换，提升海报效果