引言
本笔记可以作为学习手册的扩充版本,也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容,建议你可以先跳过这些备注,等完成所有步骤后再回头查阅。
第一步:搭建代码环境
1.1 申请阿里云PAI-DSW
阿里云PAI-DSW(Data Science Workshop)是一个云端开发工具平台,相当于你租用了一台功能强大的远程主机。这台“主机”配备了所需的一切工具和资源,用于创建和训练AI模型,无需担心自己电脑的性能是否足够。
在本次比赛中,PAI-DSW的作用包括:
- 模型训练:利用PAI-DSW的计算能力训练LoRA模型,生成各种风格的图片。
- 项目管理:在PAI-DSW上管理项目文件和数据,包括代码存放及模型和输出的存储。
首先,我们需要进入阿里云PAI-DSW官网,领取5000算力时,并为接下来的环境搭建做准备。
具体操作步骤:
- 点击任意红色箭头指向的蓝色链接,进入阿里云免费试用页面。
- 弹出窗口后,使用支付宝扫码并点击授权。
- 返回原窗口,再次点击“立即试用”,勾选同意,点击“立即试用”。
- 显示授权成功页面后即可关闭该网页。
由于我之前已经使用完了,这里就直接使用魔塔社区的notebook
记得显存要选24GB的,16GB的版本会爆显存
1.2 授权魔搭社区
魔搭社区(ModelScope)是阿里云推出的AI模型开源社区,提供模型体验、下载、调优、训练、推理和部署的一站式服务。它涵盖了多模态和多领域的AI模型和数据集,为你提供创建和管理项目的便利。
魔搭社区的作用包括:
- 创建PAI实例:在魔搭社区中创建PAI实例,设置工作环境。
- Notebook功能支持:与阿里云合作提供的Notebook功能,方便代码编写和模型训练。
- 上传和分享模型:将训练好的LoRA模型上传到魔搭社区,与评委和其他参赛者分享。
- 发布作品:在魔搭社区的讨论区发布8图故事作品,展示图像风格和故事情节。
接下来,我们需要绑定阿里云PAI-DSW。
具体操作步骤:
- 点击任意红色箭头指向的蓝色链接,进入魔搭社区页面。
- 如果未登录,点击“登录/注册”,完成后返回教程。
- 点击“去授权”,复制UID后点击“去授权”。
- 同意授权并粘贴UID,点击“确定”。
1.3 报名参赛
本夏令营通过实时提交结果检验学习成果,比赛和夏令营紧密结合。
报名参加可图Kolors-LoRA风格故事挑战赛,该比赛旨在通过生成图片讲述连贯故事,培养AI实践能力。
具体操作步骤:
- 点击阿里云天池大赛的赛制链接,完成报名。
- 完成报名后关闭窗口,无需组建或加入团队。
1.4 创建PAI实例
PAI实例相当于操作系统中的账户,用于与系统交互。每个实例都有独立的工作空间和资源,不会互相干扰。
在本次比赛中,创建PAI实例的作用包括:
- 模型训练:利用PAI实例的计算资源训练LoRA模型,生成风格图片。
- 项目管理:在PAI实例中存储和管理项目文件,确保项目文件井井有条。
- 资源独立:确保比赛项目与其他项目互不干扰,后续可创建新实例进行不同项目的开发。
具体操作步骤:
- 返回魔搭界面,点击“创建实例”。
- 选择第二个选项,其他设置保持默认。
- 滑动页面到底部,点击“下一步”,然后点击“创建实例”。
- 等待2-3分钟,状态变为“运行中”后,点击右侧的“打开”按钮。
第二步:30分钟体验一站式Baseline
在这一步中,你不需要编写代码,只需按照步骤运行Baseline代码,就可以得到你的第一个结果。后续的学习将围绕理解、修改和优化代码来提升结果的质量。
2.1 下载赛题数据和Baseline
在阿里云PAI-DSW中,你需要通过终端(Terminal)执行一些命令,获取和准备必要的资源。以下命令的作用是处理大文件和下载数据集:
- git lfs install:安装并配置git lfs,处理大文件。
- git clone:从ModelScope远程仓库下载Kolors数据集和相关文件。
具体操作步骤:
- 点击Terminal,输入以下命令并按Enter:
git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors.git
2.2 进入Baseline
具体操作步骤:
- 双击进入下载的文件夹。
- 双击Baseline文件,打开进行下一步操作。
2.3 准备工作
安装Data-Juicer和DiffSynth-Studio是关键准备步骤。这两个工具分别负责数据处理和模型训练:
- Data-Juicer:简化数据的提取、转换和加载过程。
- DiffSynth-Studio:提供高效的训练环境,帮助你微调LoRA模型。
具体操作步骤:
- 运行Baseline代码,等待约10分钟。
- 点击“重启Kernel”按钮,腾出内存空间。
2.4 运行剩余Baseline
具体操作步骤:
- 继续运行剩余的Baseline代码,等待约30分钟,直到完成模型训练和图像生成。
第三步:提交结果
3.1 准备提交文件
在终端中创建输出文件夹并复制生成的文件,准备提交。
具体操作步骤:
- 返回Terminal,输入以下命令并按Enter:
mkdir /mnt/workspace/kolors/output & cd cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/ cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/
3.2 提交结果
具体操作步骤:
- 双击output文件夹,保存其中的两个文件。
- 填写标题和内容,上传文件,点击“创建”完成提交。
完成效果图
年轻的冒险家手握古老的地图,穿越茂密的森林,开始了一段充满未知的旅程。他深入森林,发现了奇异的生物,并最终在森林深处发现了一座被藤蔓覆盖的古老遗迹。冒险家进入遗迹,发现一扇通往地下密室的巨大石门,进入后发现了一个古老文明的宝藏和刻满神秘符文的石板。通过解读这些符文,冒险家揭示了一个掌握强大魔法的远古族群的真相。最后,带着对未来冒险的期待,他离开了遗迹,结束了这段神秘的旅程。