Datawhale X 魔搭 AI夏令营第四期 AIGC方向 task01笔记

文生图

文生图（Text-to-Image Generation）是一种通过文本生成图像的技术

BASELINE 体验

1. 魔塔绑定阿里云

• 注册并开通阿里云PAI-DSW试用
• 注册魔塔& 绑定阿里云账号授权

2. 报名天池比赛

可图Kolors-LoRA风格故事挑战赛

3. Data Science Workshop

• 魔塔社区创建PAI实例
• 打开实例，看到Jupyter界面

4. 体验baseline

1. 打开 Terminal，使用 Git 下载 baseline 文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2. 进入 kolors 文件夹，打开baseline.ipynb文件

3. 安装环境
   在baseline.ipynb中shift + enter运行第一个代码块，安装 Data-Juicer 和 DiffSynth-Studio

   • Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程
   • DiffSynth-Studio：高效微调训练大模型工具

   !pip install simple-aesthetics-predictor
   
   !pip install -v -e data-juicer
   
   !pip uninstall pytorch-lightning -y
   !pip install peft lightning pandas torchvision
   
   !pip install -e DiffSynth-Studio
   

4. 重启 kernel

5. 调整 prompt

   • 正向描述词：你想要生成的图片应该包含的内容
   • 反向提示词：你不希望生成的图片的内容

6. 训练模型并生成图片

5. 模型上传魔塔

1. terminal 移动 output 文件夹

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2. 下载 output 文件夹中的两个文件
3. 创建并上传模型所需内容

6. 关闭PAI实例

7. 成图

---

相关链接

1. Datawhale活动页面
2. AIGC专题视频课程
3. AIGC专题品牌馆
4. 模型训练入口