对于MD格式显示问题,请点击PDF链接查看:【免费】可图LoRA-TASK01资源-CSDN文库
# 文生图的历史
1. 20c60s~90s:早期探索,主要依赖于规则和模版匹配。计算能力和算法受限。
2. 2000s:基于统计模型的方法,随着统计模型和机器学习技术的发展,开始利用概率图模型和统计语言模型来生成图像,由于模型复杂、计算资源受限,图像仍粗糙。
3. 2010s:深度学习的崛起,随着深度学习,尤其是卷积神经网络CNN和生成对抗网络GAN的发展,有了突破性进展。
4. 2020s:大模型预训练模型,CLIP、DALL-E、SD等,标志文生图技术进入一个新的时代,具有广泛商业价值和社会影响力。
![[Pasted image 20240811233835.png]]
# 文生图基础知识
![[Pasted image 20240811233947.png]]
1. 提示词:主体描述+细节描述+修饰词+艺术风格+艺术家
【promts】Beautiful and cute girl, smiling, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, super detail, 8k
【负向prompts】(lowres, low quality, worst quality:1.2), (text:1.2), deformed, black and white,disfigured, low contrast, cropped, missing fingers
2. LoRA:SD中的LoRA模型是一种轻量级的微调方法,LoRA代表"Low-Rank Adaptation",低秩适应。
LoRA不是单一模型,是一类通过特定微调技术应用于基础模型的拓展应用。
在Stable Diffusion这一文本到图像合成模型的框架下,Lora被用来对预训练好的大模型进行针对性优化,以实现对特定主题、风格或任务的精细化控制。
3. ComfyUI:一个工作流工具,用于简化和优化AI模型的配置和训练过程。通过直观的界面和集成的功能,快速进行模型微调、数据预处理、图像生成等任务,提高工作效率和生成效果。![[Pasted image 20240811234329.png]]
4. ControlNet:参考图控制,一种用于精确控制图像生成过程的技术组件,是一个附加到预训练的扩散模型上的可训练网络模块,
# Baseline跑通
## 试用阿里云
[阿里云免费试用 - 阿里云](https://free.aliyun.com/?productCode=learn)
试用PAI-DSW。
![[Pasted image 20240811234543.png]]
![[Pasted image 20240811234907.png]]
![[Pasted image 20240811234813.png]]
![[Pasted image 20240811235225.png]]
![[Pasted image 20240811235306.png]]