[24] Graphic Design with Large Multimodal Model

[pdf | code]

海报生成：组合多个符号、图像和文本。下图为本文所提方法Graphist的一个生成示例，左上角第一张图为输入元素，JSON是Graphist输出的排列，右上角两张图分别为排列可视化和最终海报生成效果。

现有图形布局生成（Graphic Layout Generation, GLG）任务需要预定义图层序列。本文提出分层布局生成（Hierarchial Layout Generation, HLG）任务，从无序元素中生成海报。

本文提出Graphist，第一个基于大型多模态模型（Large Multimodal Models, LMM）的布局生成模型。Graphist将海报生成任务转化为序列生成问题，将所有元素转换为RGB-A图像作为输入，输出JSON草稿，每个元素的坐标、位置和顺序。

具体来说Graphist包含三个部分：

• RGBA-Encoder：使用ViT-L/14，并用CLIP参数初始化；
• LLM：Qwen1.5-0.5B/7B；
• Visusal Shrinker：通过2D average pooling将ViT的输出 16 x 16 + 1 (cls-token)压缩为 2 x 2 + 1。使用digital tokens表征坐标。

训练包含三个步骤：

为HLG任务设计了多个评价指标，包括：Inverse Order Pair Ratio (IOPR)和GPT-4V Eval，前者评估了层顺序的准确率，后者评估了生成质量。在该任务中，Graphist建立了强有力的baseline。

更多生成结果