Datawhale 魔搭 AI夏令营第四期 AIGC方向 -Tesk1-使用可图Kolors-LoRA模型文本生成图片实现

向前走268

已于 2024-08-17 10:15:14 修改

阅读量698

点赞数 10

文章标签： AIGC

于 2024-08-10 21:43:07 首次发布

本文链接：https://blog.csdn.net/weixin_70945199/article/details/141070979

版权

一、准备工作

开通阿里云PAI-DSW试用

链接：阿里云免费试用 - 阿里云

注意：如果已经开通试用或试用已过期，可以跳过此步骤，使用魔搭免费GPU额度或寻找其他的算力方案

流程图如下

在魔塔社区申请授权

链接：https://www.modelscope.cn/my/mynotebook/authorization

新用户需要完成阿里云账户的实名认证和绑定阿里云账号

报名比赛

比赛链接（https://tianchi.aliyun.com/competition/entrance/532254）

二、小白开始跑通baseline模型

在魔塔社区创建PAI实例

链接：（https://www.modelscope.cn/my/mynotebook/authorization）

确认后，点击下一步

创建实例后，会返回魔塔，然后等到它自动开启

启动成功的界面

打开可能需要等待一些时间（可能跟网速有关），打开成功界面如下

一站式跑通baseline模型

下载baseline文件，打开终端

然后将代码复制到这个一闪一闪的位置

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

进入文件夹，打开baseline文件

安装环境

重启kernel（一定要重启一下，不然会报出很多不友好的错误，例如会报出缺少包）

确保下载后重启后，依次按照顺序点击代码块左上方的开始，并且左边会记录运行的时间。

或者一键运行cell（虽然这个也会把环境重新下载，但是只要你之前已经安装环境和重启kernel就没关系）

在这里可以自定义你想要生成的图片

因为这几天是七夕情人节，我就以这个为故事背景，创建了几句提示词，（希望各位有情人终成眷属，七夕节快乐）

相遇：春日花开，年轻书生身穿浅蓝长袍和一位穿着淡粉长裙，外罩轻纱的少女对视

相知：书院深处，书生与才女并肩而坐，她手捧竹卷，他侧耳倾听

相悦: 月下柳梢,书生与才女在湖边小亭相视而笑

定情：古桥之上，书生单膝跪地，向才女表达深情，她含羞带笑

相思：书生远行，才女倚窗而立，她手中把玩着书生留下的信物，眼中流露出深深的思念

重逢：书生归来，两人在满地金黄的落叶中紧紧相拥，久别重逢的喜悦溢于言表

携手：古街小巷，书生与才女手牵手漫步，周围是熙熙攘攘的人群和飘扬的彩旗，两人脸上洋溢着幸福的笑容

共度余生：岁月静好，书生与才女并肩坐在庭院的长椅上，享受着晚年的宁静与和谐

生成效果

效果还是很不错的，当然也有些问题，比如手指变形，眼睛不正常，脸部扭曲。这些在一开始的尝试中肯定是有的，小白的话可以通过修改提示和负面提示，至于更高阶的优化办法，那还是需要进一步的探索原理和模型。

提交结果

移动结果文件

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

下载结果文件，双击进入output文件夹，分别下载两个文件到本地

创建并上传模型所需内容

点击魔搭链接，创建模型，中文名称建议格式：队伍名称-可图Kolors训练-xxxxxx

关闭PAI实例

链接：https://www.modelscope.cn/my/mynotebook/authorization

三、问题

以下是我遇到的问题和自己解决办法（问题3 解决办法很不错）

（更多问题解决方案链接：QA & 其他彩蛋 - 飞书云文档 (feishu.cn)）

问题1：缺少包

解决方案：重新启动kernel，然后重新运行所有代码块。

问题2：超时

解决方案：重启kernel，运行所以代码块。

问题3：缺失文件

解决方案：我看了官方的解决方案文档好像只能重启和重新创建实例，但是我多次重启后还是有问题，依旧有这个问题。

冷静下想想这个问题其实就是version_0文件中没有checkpoints文件，我去自己的文件找果然没有，但是我的version_1中有checkpoints（之所以有这么多版本，可能是重启的次数多了生成了多个），那要是把这个复制到version_0文件中不就行了，复制后，重启运行，没有问题，可以快乐玩耍了。