Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task1AIGC笔记

首次接触

 在Datawhale 2024 年 AI 夏令营第四期的学习活动接触到AI中的“AIGC”方向，参加了魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。

关于文生图

首先，文生图很早之前就已经被提出并且进行研究，文生图就字面上的意思，通过早期的图像生成技术进行将文本转化为图形。之后随着科技的发展，现在的文生图技术有了更加好的发展。目前的大规模训练模型还有c lip等等相关的技术出现，使得文生图的发展水平不断提升。

现在文生图主要以SD系列基础模型为主，通过参考图或者加提示词对模型进行训练之后生成图片。提示词是一个非常重要的步骤，它需要有主体描述，还有细节修饰词以及相关的艺术等等之类的模型要素。还有lora是一种轻量级的微调方法。参考图控制则是一种精确控制图像生成过程的技术组件。

文生图的实践

首先先去能够接触文生图技术的平台。在魔塔社区或者阿里云都有相关提供功能。开通阿里云的试用。开通阿里云PAI-DSW试用。之后在魔塔社区进行授权。-在魔搭社区进行授权。之后报名赛事。比赛链接。完成相关之后，再魔塔社区授权成功之后便可进行文生图在魔搭社区创建PAI实例。

在魔塔新建实例之后打开进入操作平台。先下载baseline文件。之后安装环境（安装后一定记得要重启kernel）接着调整prompt。调整相关文字来。设置你想要的图片风格。之后依次顺序运行剩余的代码块，点击代码左上角的执行框之后等待生成图片。

发布模型

完成文生图的操作之后，将微调结果上传到魔塔。先创建trinal移动结果文件，之后把output的两个文件下载到本地。之后上传模型到魔塔链接，完成之后可以来到创空间查看自己的模型是否发布。（在完成全部操作之后，一定要记得回去关闭自己的pai实例）