Datawhale X魔搭AI夏令营 AIGC方向Task01学习笔记

初次接触ai领域的学习，参加的契机是朋友圈有一个朋友经常会发Datawhale的活动，并且这位朋友也在今年去了线下参与了Datacwhale的活动受益匪浅，回来向我们疯狂安利；且近几年AI的发展愈发猛烈，是该安排上把学习这方面的知识安排上进程了。so，我来了。

task1的主要内容

1. 介绍可图Kolors-LoRA风格故事挑战赛
2. 文生图的理论知识
3. 利用阿里云PAI-DSW跑通最简单的Baseline，让我们先对整体流程有一个了解；

第一部分见官方，第三部分目前作为小白按照流程跑下来了但是并不明白每一步的具体原理，故此部分暂时不做讲解，等待之后上完课再来补充；

文生图的理论知识

文生图的历史

• 早期探索
  • 核心：依赖规则和模板匹配
  • 局限：计算能力和算法的限制
  • 缺点：图像质量低，应用场景有限
• 基于统计模型的方法
  • 核心：概率图模型和统计语言模型
  • 局限：模型的复杂性和计算资源的限制
  • 缺点：生成的图像较为粗糙，不够逼真
• 深度学习的崛起
  • 核心：GAN模型的提出
• 大规模预训练模型
  • 核心： OpenAI的CLIP、DALL-E以及Stable Diffusion等的出现

文生图的基础知识

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等

介绍几个核心概念

• 提示词
  • 是什么？Prompt通常指的是一段文本或语句片段，用户通过这段文本向AI模型提供输入，以触发或引导模型生成特定的输出或响应。
  • 什么用？引导AI的行为，训练和优化模型，提供上下文信息等等
  • 重要性？不仅是用户与AI系统交互的桥梁，更是提升AI模型性能、增强模型灵活性、促进模型可控性以及推动AI创新与发展的关键因素。简言之直接决定生成图的结果
• lora模型
  • Lora（LoRA）模型是一种轻量级的微调方法，Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。
• ComfyUI
  • ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。
• 参考图控制
  • ControlNet是一种用于精确控制图像生成过程的技术组件。简单说就是通过各种控制类型，使得最终图片更符合预期；