task1:配置基础环境,跑通baseline
这个还是非常简单的,按照任务书走就没什么大问题。至于代码本身如何,等之后进一步学习来读懂代码。
AIGC,即生成式人工智能,本次夏令营涉及的是文生图,即通过文字描述来生成图片
文生图主要以SD系列基础模型为主,以及在其基础上微调的lora模型和人物基础模型等。
提示词,即文字描述,来描述希望生成的图片样式,包括正向描述和负向描述。
LoRA,一种微调方法,对训练好的模型进行针对性优化。
ComfyUI 是一个工作流工具,主要用于简化和优化 AI 模型的配置和训练过程。
ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型(如Stable Diffusion模型)上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程,而ControlNet的作用在于引入额外的控制信号,使得用户能够更具体地指导图像生成的各个方面(如姿势关键点、分割图、深度图、颜色等)。
在baseline最开始运行时就要安装 Data-Juicer 和 DiffSynth-Studio
Data-Juicer:数据处理和转换工具,旨在简化数据的提取、转换和加载过程
DiffSynth-Studio:高效微调训练大模型工具
注意安装完成之后需要重启kernel