可能很多人会想到用图像提示：IPA的方式，但今天要讲的是用MiniCPM，理解多张图片，写成文本提示。
MiniCPM-V 2.6是面壁智能发布的多模态大模型，它在 SigLip-400M 和 Qwen2-7B 的架构基础上进行了改进，增强了处理单张图像、多张图像和视频输入的能力。
多图联合理解
使用mixlab里的MiniCPM得到的提示词，输入flux生成。
在小显存的电脑上需要注意输入的图片尺寸。所以，我添加了个resize进行缩放。
Prompt：创作一个故事
在一间光线充足的画室里，一个艺术家坐在一张木桌前。他们穿着一件橙色的衬衫，头发上戴着一台复古电视作为头饰，正在创作一幅著名星空画作的复制品。桌子上放着一只带有“MIX-LAB”字样的马克杯和一部智能手机。随着画家继续工作，他们的思绪被带到另一个维度。这幅视频中展示了一个数字艺术作品，描绘了一位年轻女子站在一个色彩斑斓、抽象的背景前。她的表情宁静而思考，仿佛在反思自己的内心世界或创作过程本身。这个场景暗示了数字和现实之间的交汇，也许是在探索艺术的界限和潜力。
先无脑的把这个提示词，输入给flux，看看效果：
修改下提示工程：
Prompt：创作一个故事的分镜头，输出每个镜头的描述
视频开始于一个坐在桌子前的个人，头戴一台复古计算机显示器，仿佛代替了他们的头部。桌子上有一杯印有“MIX-LAB”字样的马克杯和一幅著名星夜油画的复制品。环境暗示了一个家庭办公室或工作室的场景，背景是一面简单的墙壁和一扇门。
接着，画面切换到一个人物的特写，这个人物有着波浪卷曲的头发和柔和的表情。他们似乎处于一个充满活力的环境中，可能是一个艺术工作室，因为背景中可以看到画笔和调色板。光线温暖，营造出一种创意和灵感的氛围。
最后，镜头拉远，揭示出之前的场景是更大故事的一部分。现在，我们看到那个人物站在一个色彩斑斓的艺术作品旁边，可能在思考或者准备创作。整个视频的分镜头展示了从个人的工作空间到充满活力的创造力的转变，暗示着一个关于艺术、技术和自我表达的故事。
再修改下
Prompt：创作一个故事的分镜头，输出每个镜头的描述，按照json格式输出
{
"镜头1": {
"描述": "一个坐在办公桌前的男子，头戴复古风格的电脑显示器作为头部。他穿着橙色衬衫，面前放着一幅梵高的《星夜》复制品和一杯印有'MIX-LAB'字样的马克杯。"
},
"镜头2": {
"描述": "女子站在画架旁，她有着卷曲的黑色头发，身穿白色上衣，背景是色彩斑斓的油画布景。"
},
"镜头3": {
"描述": "男子在专心地画画，用调色板和画笔，画布上已经出现了一些黄色和蓝色的星星图案，与梵高的作品相似。"
},
"镜头4": {
"描述": "女子微笑着看向观众，她的表情自信而专注，似乎在思考下一步的绘画计划。"
},
"镜头5": {
"描述": "男子完成了他的作品，展示出一副满意的微笑，画布上的《星夜》复制品变得更加完整和生动。"
}
}
如果是按照四格漫画的方式：
——
以上是一次简单的实验记录。Flux对于语义的理解确实很强，我们所需要做的就是尽可能地描述清楚图像的每个细节，其他的交给Flux。
（社群可以私信联系加入）
1002
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
