Datawhale X 魔搭 AI夏令营task 2笔记

为何要关注AI生图？

1.有助于避免被常见ai生图场景所骗

2.可以利用相关工具创作绘图

3.更好针对自己业务来开发使用，甚至攻克出更使用的工具

AI生图的难点和挑战？

“ai味”大，恐怖谷效应

高质量ai生图如何辨别真假？

1.观察图片细节

2.检查光线与阴影

3.分析像素

4.注意背景

探索AI生图前沿

使用Kolors模型进行文生图

Kolors（可图）模型 是快手开源的文本到图像生成模型，该模型具有对英语和汉语的深刻理解，并能够生成高质量、逼真的图像。

代码开源链接

模型开源链接

技术报告链接

魔搭研习社最佳实践说明

使用通义辅助精读代码

代码主体架构：安装Data-Juicer和DiffSynth-Studio包——>从魔搭数据集下载数据集AI-ModelScope/lowres_anime——>生成数据集——>配置data-juicer,并进行数据筛选过滤——>保存data-juicer配置到data/data-juicer/data_juicer_config.yaml——>通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集——> 下载可图模型——> 执行可图Lora训练——> 加载lora微调后的模型 ——>生成图像 ——>图像拼接，展示总体拼接大图

文生图Prompt工程

自己思考一个八张图连环画故事内容（牛仔和女孩在向日葵田中一见钟情），通过以下询问通义生成大致的提示词，并将提示词替换baseline文件中相应的部分，生成如下连环画

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、牛仔骑着马
2、走到了一片向日葵花田
3、田中有一个女孩
4、两人一见如故
5、牛仔拉女孩上马
6、两人到溪边戏水
7、在森林中荡秋千
8、在星空下入睡

生图提示词要求
1、风格为皮克斯风格
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
皮克斯风格，色彩鲜艳，一个戴着牛仔帽，穿着牛仔靴和牛仔裤的牛仔，坐在马背上，目视前方，飘逸，全身

图片编号	场景描述	正向提示词	反向提示词	图片
1	牛仔骑着马	皮克斯风格，色彩明亮饱满，一个健壮的牛仔，头戴宽边牛仔帽，身穿经典牛仔衬衫与牛仔裤，脚蹬锃亮的牛仔靴，骑在一匹健壮的棕色骏马上，马鬃随风飘扬，牛仔眼神坚定地望向前方，全身展示。	丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指
2	走到了一片向日葵花田	皮克斯风格，阳光明媚，色彩对比强烈，牛仔牵着马，穿过一片金黄色的向日葵花田，向日葵高大且生机勃勃，花瓣金黄，中心深邃，牛仔的轮廓在阳光下显得格外立体，上半身特写。	丑陋、变形、嘈杂、模糊、低对比度
3	田中有一个女孩	皮克斯风格，温暖色调，田间小径上站着一位穿着夏日连衣裙的女孩，长发随风轻舞，面带微笑，眼神好奇地望着牛仔，身后是一片绚烂的向日葵，全身展示。	丑陋、变形、嘈杂、模糊、低对比度，色情擦边
4	两人一见如故	皮克斯风格，柔和光线，牛仔和女孩面对面站在花田中，彼此微笑，眼神交流充满惊喜与友好，背景是夕阳下的向日葵田，上半身特写。	丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指
5	牛仔拉女孩上马	皮克斯风格，动态画面，牛仔伸出手帮助女孩上马，女孩笑着抓住他的手，跃上马背，牛仔稳稳地控制着马匹，两人表情充满喜悦，全身展示。	丑陋、变形、嘈杂、模糊、低对比度
6	两人到溪边戏水	皮克斯风格，清凉感十足，牛仔和女孩在清澈的小溪边嬉戏，水花四溅，两人欢笑，背景是葱郁的树木与蓝天白云，全身展示。	丑陋、变形、嘈杂、模糊、低对比度，色情俗气
7	在森林中荡秋千	皮克斯风格，绿色盎然，牛仔和女孩坐在森林里的秋千上，四周环绕着参天大树，阳光斑驳，两人享受着秋千带来的乐趣，头发随着摆动飞扬，全身展示。	丑陋、变形、嘈杂、模糊、低对比度
8	在星空下入睡	皮克斯风格，夜空璀璨，牛仔和女孩躺在草地上，头枕着手臂，仰望着满天繁星，周围是宁静的自然环境，微风吹拂，两人面容平静安详，全身展示，重点描绘星空的浩瀚与美丽。	丑陋、变形、嘈杂、模糊、低对比度

优点：风格统一美观，画面感强

缺点：图与图之间人物连贯性不强，有的地方比较奇怪

提示词进一步修改

为了将图与图之间的人物更加连贯，我把每张图中的人物形象都加入了相同的描述词（如下表中对牛仔的描述），并通过多次的替换，一步步完善图片里的不足，生成了较为连贯的图片。

图片编号	场景描述	正向提示词	反向提示词	图片
1	牛仔骑着马	皮克斯风格，色彩明亮饱满，一个健壮的牛仔，头戴宽边牛仔帽，身穿经典牛仔衬衫与牛仔裤，脚蹬锃亮的牛仔靴，骑在一匹健壮的棕色骏马上，马鬃随风飘扬，牛仔眼神坚定地望向前方，全身展示	丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指
2	走到了一片向日葵花田	皮克斯风格，阳光明媚，色彩对比强烈，牛仔牵着马，穿过一片金黄色的向日葵花田，向日葵高大且生机勃勃，花瓣金黄，中心深邃，牛仔的轮廓在阳光下显得格外立体，上半身特写	丑陋、变形、嘈杂、模糊、低对比度
3	田中有一个女孩	皮克斯风格，温暖色调，田间小径上站着一位穿着夏日连衣裙的女孩，长发随风轻舞，远远望着一个骑着马的牛仔，牛仔健壮，头戴宽边牛仔帽，身穿经典褐色牛仔衬衫与牛仔裤，两人远远对视，身后是一片绚烂的向日葵，全身展示	丑陋、变形、嘈杂、模糊、低对比度，色情擦边
4	两人一见如故	皮克斯风格，柔和光线，牛仔健壮，头戴宽边牛仔帽，身穿褐色牛仔衬衫与牛仔裤，和穿着夏日连衣裙的，长发随风轻舞的，戴着草帽的女孩面对面站在花田中，彼此微笑，眼神交流充满惊喜与友好，相互拥抱，背景是夕阳下的向日葵田，上半身特写	丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指
5	牛仔拉女孩上马	皮克斯风格，动态画面，牛仔伸出手帮助女孩上马，女孩穿着夏日蓝色连衣裙，长发随风轻舞，戴着草帽，女孩笑着抓住他的手，跃上马背，牛仔稳稳地控制着马匹，两人表情充满喜悦，全身展示	丑陋、变形、嘈杂、模糊、低对比度
6	两人到溪边戏水	皮克斯风格，清凉感十足，牛仔和女孩在清澈的小溪边嬉戏，水花四溅，两人欢笑，互相泼水，牛仔健壮，头戴宽边牛仔帽，上身赤裸，女孩穿着夏日蓝色吊带，长发随风轻舞，背景是葱郁的树木与蓝天白云，全身展示	丑陋、变形、嘈杂、模糊、低对比度，色情俗气
7	在森林中荡秋千	皮克斯风格，绿色盎然，牛仔和女孩坐在森林里的秋千上，牛仔健壮，头戴宽边牛仔帽，身穿经典褐色牛仔衬衫与牛仔裤，女孩穿着夏日蓝色连衣裙，长发随风轻舞，戴着草帽，四周环绕着参天大树，阳光斑驳，两人享受着秋千带来的乐趣，女孩头发随着摆动飞扬，全身展示	丑陋、变形、嘈杂、模糊、低对比度
8	在星空下入睡	皮克斯风格，夜空璀璨，牛仔和女孩躺在草地上，牛仔穿褐色衬衫，女孩蓝色连衣裙，女孩的头枕着牛仔手臂，仰望着满天繁星，周围是宁静的自然环境，微风吹拂，两人面容平静安详，全身展示，重点描绘星空的浩瀚与美丽	丑陋、变形、嘈杂、模糊、低对比度

优点：现在图片之间的人物较为连贯了

缺点：表现性不强，随着对人物的描述增多，画面主体更加突出人物特征，而背景不如之前的优美，仔细看图与图之间还是有很多的不同之处（人物的服装，个人特征等）。且图片之间的故事性还不够强，还是得多多修改完善提示词，使之更容易被读懂啊。