Datawhale AI夏令营 AIGC领域 学习笔记 第一次

Datawhale AI 夏令营第二期学习笔记

经过了第一期夏令营的失败教训，孩子们我回来了
这一次是又先想给自己一点挑战，于是报了AI大模型应用的方向，进去后发现自己还是技术力过于低下，于是和班班提了退出申请，重新选择了先前有了解过的AIGC领域。

part0.基础

由于python会的东西还是不是很多，前端后端等东西就更不用想了，在看到大模型方向的班级里各种群魔乱舞的姿态，我只能望而兴叹，遂选择退出
至于AIGC，之前在新大一的暑假里曾经萌生出了浓厚的兴趣，在家里所有具有CUDA显卡的电脑上都本地部署了秋叶大佬的一键式Stable diffusion，不过，是基于webUI的版本而不是现在流行的comfyUI，自己安装了好几个模型，还试了试controlNet，安装了不少embedding和loRA，了解到了这次的主要目的就是训练一个自己的lora出来，虽然在开营前不知道该咋弄，但是还是非常期待的~//(^^V^)\~
lora是什么？
它的专业定义是:LoRA模型，全称Low-Rank Adaptation of Large Language Models，是一种用于微调大型语言模型的低秩适应技术。它最初应用于NLP领域，特别是用于微调GPT-3等模型。LoRA通过仅训练低秩矩阵，然后将这些参数注入到原始模型中，从而实现对模型的微调。这种方法不仅减少了计算需求，而且使得训练资源比直接训练原始模型要小得多，因此非常适合在资源有限的环境中使用。
—问我什么是低秩矩阵？那就插播讲解一下吧

小时候老师就告诉过我们：「想要确定地*解出n个未知数，你要有n个方程才行」
——这句话其实是不严格的，如果你想准确地解出n个未知数，只有n个方程是不够的
，这n方程还必须都是「干货」才行，而这些干货的个数，就是所谓「矩阵的秩」
数学中定义，矩阵中最大的不相关的向量的个数，叫做秩
如果X是一个m行n列的数值矩阵，rank(x)是x的秩，
假如rank (X)远小于m和n，则称x是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表示，
可见它包含大量的冗余信息。
利用这种冗余信息，可以对数据进行恢复，
也可以对数据进行特征提取。

在Stable Diffusion（SD）模型的应用中，LoRA被用作一种插件，允许用户在不修改SD模型的情况下，利用少量数据训练出具有特定画风、IP或人物特征的模型**（这不就是特征提取的应用么！）**。这种技术在社区使用和个人开发者中非常受欢迎。例如，可以通过LoRA模型改变SD模型的生成风格，或者为SD模型添加新的人物/IP。
这里使用一些我的lora，我之前下载过苏联海报风格的lora，这是生成图的效果

所以可以粗浅理解loRA为 画风，风格迁移

Part1.执行task1发生的各种事

Datawhale非常贴心地为我们准备了零基础也能跑通的baseline，只要跟着做，就基本不会出bug，顺利跑出第一张图
不过，不出意外的话，就要出意外了…

这是用

这个平台做的，和教程不符，果不其然出bug，让我去QA文档debug也没de掉
后来还是老老实实选择

一切顺利啊
具体内容先不细究，第一次笔记就到这里吧