Datawhale X 魔搭 AI夏令营

Datawhale X魔搭AI夏令营 AIGC方向Task01学习笔记

1.关于文生图的基本原理

        首先是绘画过程。文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。但无论是哪一个应用，AI绘画的第一步都是输入用户想要的关键词，比如“一个保熟的西瓜”，这些具体的关键词会被AI识别为特定的向量，从而与一张随机产生的噪声图计入图像编码器。而图像编辑器会参考这些被关键词具化的向量来一步步对噪声图进行降噪，最后就会生成一张符合关键词的图片。可能对于每个不同的应用来说有些原理还是不太一样的，但是基本原理大差不差都是通过对噪声图进行降噪来实现的。大致的流程图如下所示：

2.关于Task01的学习

        这一次的任务学习包括了三大模块，首先开通阿里云PAI-DSW试用，以及在魔塔社区进行授权，为之后文生图项目的创建与运行做好准备。

        最重要的还是第二大模块，在自己的电脑上尝试成功调试程序，制作出自己的图片。最初我按照给定的步骤进行调试时，我在第四步训练模型中出现了“Filenotfind”的错误，后来我重新创建了一个项目再去进行调试才解决了这个问题，但是我依然不懂为什么会出现这个BUG，希望在以后的学习中可以了解到原因吧。最后也是生成了自己想要的图片，并且将微调结果上传到了魔塔的社区。

3.生成图片

这是我通过程序生成的其中两幅图片

4.最终成效

             

一个流浪的女孩在山崖边想念着一个男孩            被想念的男孩在樱花树下祈祷与女孩见面

                  

女孩来到海边等待男孩的出现                              男孩也在海边眺望女孩所在的岛屿                

终于，男孩等到了载着女孩的船                          女孩开心地向男孩挥手问好                  

男孩与女孩相见后一起在枫叶林中漫步               但是女孩还要去远方，于是男孩与女孩告别了

        最后效果没有我想象的那么好，特别是男孩与女孩的形象在不同的照片中会发生变化，应该与我在生成图片时没有提供更多更详细更有代表性的关键词有关。而在今后的学习中我想更加了解我运行程序代码的含义，并试图优化解决这一问题。