Datawhale X 魔搭 AI夏令营task 2笔记

在task 1跟着baseline运行一遍之后，我着手尝试写自己的故事以及生成相应的图片，而task 2的教程给了我很好的启发。

作为第一步，我想的故事分镜如下：

男主角从小梦想成为科学家
男主角为了梦想努力学习
男主角的父母也在不断支持男孩
男主角不负众望，进入顶尖的实验室工作
男主角为了工作废寝忘食，顾不得家人
男主角生了一场大病，已经年老的父母来照料他
男主角意识到自己对家人的忽视
男主角病好回去工作后，总会抽时间探望父母

接下来，为了得到更优的Prompt，我编辑Prompt发送给AI工具处理：

于是得到如下的回答：

至此，Prompt部分的工作宣告完成。下一步，将Prompt给baseline中微调过的模型处理，得到如下结果：

写实风，全身，一个黑色短发的男孩，大约8岁，穿着蓝色的T恤和牛仔裤，站在房间里的书桌旁，桌上放着一个天文望远镜和几本科学书籍，男孩仰望窗外的星空，眼神中充满向往。房间背景温馨，墙上贴着星空和宇宙的海报。

写实风，上半身，一个黑色短发的少年，大约15岁，戴着眼镜，穿着校服，坐在书桌前专注地看书，书桌上摆满了科学相关的书籍和笔记本，窗外透进自然光，书桌旁有一盏台灯，背景是一间安静的书房。

写实风，全身，一个中年夫妻，男主角的父母，父亲穿着衬衫和西裤，母亲穿着毛衣和长裙，站在男孩的书桌旁，微笑着看着正在学习的男孩，母亲手里拿着一杯热牛奶，父亲的手搭在男孩的肩膀上，背景是温馨的家居环境。

写实风，全身，一个黑色短发的青年，男主角大约25岁，穿着白色实验室外套，站在先进的实验室里，手中拿着一个试管，认真地观察实验结果，背景是现代化的实验设备和研究仪器，灯光明亮，显示出高科技的氛围。

写实风，上半身，一个黑色短发的青年，男主角大约30岁，眼神疲惫，穿着皱巴巴的白色实验室外套，坐在实验室的桌前，手撑着头，桌上堆满了文件和仪器，背景是昏暗的实验室，墙上的时钟显示深夜时分，桌边放着一杯没喝完的咖啡。

写实风，全身，一个年老的中年夫妻，男主角的父母，父亲头发花白，穿着简单的毛衣和长裤，母亲穿着围裙，带着担忧的表情，站在男主角的床边，男主角躺在床上，面色苍白，床边有一个点滴架，背景是一间简单的病房，窗外有微弱的阳光照进来。

写实风，上半身，一个黑色短发的青年，男主角大约35岁，面容憔悴，坐在病床上，手中握着一张全家福照片，眼中带着悔意，背景是病房的一角，桌上放着一些药品和水杯，窗外透进柔和的光线。

写实风，全身，一个黑色短发的青年，男主角大约40岁，穿着休闲服，微笑着坐在父母的家中沙发上，父母坐在他两旁，父亲在看报纸，母亲在织毛衣，客厅温馨舒适，墙上挂着全家福照片，窗外阳光明媚，显示出家庭的温暖和谐氛围。

整体的生成风格还是符合要求的，但是很多要求没有做到。图3、6、8中，Prompt给的是三人同框，但是AI并没有理解三个人的数量关系，甚至没有理解人物间的关系。我通过改变随机数种子，生成了多张不同的图片，但是相应的图片中，人物数量关系、人际关系仍然是一样的并没有被理解。因此我怀疑AI并没有学到三个人的数量关系以及复杂的人际关系。这个问题则需要通过扩增数据集、让模型学习到更多的图片特征才能被解决；或者通过更换更多参数的模型解决。

因此，接下来我应该向着优化模型的方向努力。