Datawhale X 魔搭 AI夏令营-AIGC文生图方向 task02笔记

支线任务1:使用通义千问熟悉baseline代码

步骤一:代码整体解读

我平时经常使用通义千问来生成或修改代码,大部分时候用起来非常方便(悄悄说,通义千问总是喜欢钻牛角尖,有时候换一个算法就能解决,他非要坚持,最后甚至要修改环境的文件)

这段代码可以被划分为以下几个主要的工作流程部分:

1. 安装依赖库
这部分通过 !pip 命令安装了多个Python库,包括但不限于 simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio。

2. 加载和预处理数据集
这里使用 MsDataset 从 ModelScope 加载了一个名为 lowres_anime 的数据集,并将数据保存到指定目录中。接着,遍历数据集中的每个样本,将其转换为 RGB 格式并保存为图片文件,同时创建了一个包含图像路径和文本描述的 JSONL 文件。

3. 使用 Data-Juicer 处理数据集
这部分定义了一个 YAML 配置文件来设置数据处理的参数,并调用了 dj-process 命令来根据配置过滤和处理数据集。这一步骤包括了对图像尺寸和宽高比的过滤。

4. 读取处理后的数据集
这部分读取了经过 Data-Juicer 处理的数据集,将其转换为 Pandas DataFrame 并保存为 CSV 文件。

5. 计算图像与文本之间的相似性
使用 CLIP 模型来计算图像与文本描述之间的相似性得分,并将结果存储在 probs 变量中。

6. 创建自定义数据集类
这部分定义了一个自定义的 PyTorch 数据集类 CustomDataset,用于加载图像和文本描述,并使用 DataLoader 来批量处理数据。

7. 图像生成
这部分使用了 StableDiffusionPipeline 从 diffusers 库来生成基于不同提示(prompt)的图像。这里生成了多个不同的图像,并保存到了本地文件系统。

8. 合并生成的图像
最后,这部分将之前生成的图像合并成一个大的图像,并调整了大小。

综上所述,这段代码涵盖了从数据集加载、预处理、特征提取、模型训练到最终的图像生成和后处理等多个方面。

步骤二:重点代码解读

我针对一些我比较感兴趣的部分让通义千问解读。

 

步骤三:代码逐行解读

 主线任务1:实战演练一一基于话剧的连环画制作

第一步 数据准备

step1 询问通义,自己在通义的返回的基础上,多多调整,争取打磨出一个最佳的提示词

好的,根据您的要求,我会为每个场景创作出适合的生图提示词。让我们开始吧:

场景 1: 女主正在上课
古风,工笔画风格
一个黑色长发少女,身着淡雅青衫
坐在古色古香的教室中,专注地望着前方的竹简
上半身特写,手中握着毛笔
正聚精会神地聆听夫子讲解
场景 2: 开始睡着了
古风,淡墨渲染
同样的黑色长发少女,头轻轻歪向一侧
依然穿着淡雅青衫,表情恬静
上半身特写,毛笔从手中滑落
在教室一角的小桌上,缓缓入睡
场景 3: 进入梦乡,梦到自己站在路旁
古风,山水画风格
少女身着轻盈白纱,站立于小径旁
背景是朦胧的山峦与流水
全身展示,双手轻抚身旁的柳枝
眺望着远方,似乎在等待什么
场景 4: 王子骑马而来
古风,细腻的线描
一位英俊少年骑着骏马,身穿蓝袍
背景是桃花盛开的春日小道
全身展示,手持缰绳,目光坚定
朝少女的方向缓缓而来
场景 5: 两人相谈甚欢
古风,色彩斑斓
少女与少年并肩而坐,彼此交谈
周围是盛开的花朵和翠绿的草地
上半身特写,两人的脸上洋溢着笑容
分享彼此的故事,眼神中充满喜悦
场景 6: 一起坐在马背上
古风,动态的线条
少女依偎在少年身后,两人同乘一匹马
背景是蜿蜒的小径与远方的群山
全身展示,少女双手环抱少年腰部
两人一同前行,享受旅途中的美好时光
场景 7: 下课了,梦醒了
古风,水墨淡彩
少女惊醒,神色略显迷茫
依然坐在教室中,身着淡雅青衫
上半身特写,揉着眼睛
意识到自己刚刚做了一个美妙的梦
场景 8: 又回到了学习生活中
古风,细腻的笔触
少女回到现实,继续埋头苦读
背景是书卷堆积如山的书桌
上半身特写,手执毛笔书写
专心致志地继续她的学业

 step2准备程序

打开魔塔社区-我的Notebook

加载程序

 step3修改提示词

第二步 运行结果

上一次运行结果不太理想,如下

修改一下参数试试

第三步 再次运行

效果明显好多了 

最后不要忘记提交打卡


感受

整个过程不是很难,新奇的文生图代码为我打开了新世界的大门,不敢想象随着代码和硬件的升级,未来ai生图会在任何领域疯狂发展。我对目前已经掌握的知识充满激情,已经记下了许多想要了解的方向,希望比赛进程放缓一点,这样我就有更多时间来学习。

  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值