【SD教程】图生图可以玩出什么花

SD

你一定在很多地方试过这种真人转二次元的功能,拍一张自拍,ai会自动把照片转变成二次元风格的你,这就是SD图生图功能,那么具体用SD如何操作?图生图到底还可以玩出什么花?那就由这篇文章带你探索~

01

风格转绘

拿真人转二次元风格为例,上传一张真人图片,书写提示词,选择一个二次元模型,例图中使用了meinamix。

随后我们对参数进行修改,大部分的参数和文生图一致,需要关注的是重绘幅度这个参数,顾名思义重绘幅度越小越接近原图,越大则越不像原图。这是一个要看情况具体调整的,例图参数使用了0.45供参考。

最后点击生成,ai会依据输入的图片对输出进行引导,这个效果是不是很赞呢

同样的,上传一张二次元图片,选择一个真人模型如 chilloutmix
,填写提示词,如果你的二次元角色是个具体的角色形象还可以加入对应的角色Lora,调整参数,最后点击生成,就有了真人胡桃的效果。

举一反三,你可以使用各种大模型和lora的搭配得到想要的不同风格~

03

提取线稿

来到图生图页面,这次我们因为要生成线稿,所以我们输入图片中要放入一张空白图。

而需要变成线稿的原图则要放在 ControlNet 中,选择 lineart 模式,保持默认模式即可。

在提示词中填上如lineart, monochrome一类的提示词,也可以使用如 animeoutline 一类的线稿 Lora
。重回幅度上由于原图其实是一张白纸,所以要将重绘幅度拉高,例图调到了0.9。

最后点击生成,原图的线稿就提取出来啦。你还可以切换不同的大模型得到不同的明暗的线稿样式,所以在模型的选择上可以自由发挥~

03

涂鸦生图

我们也可以将草图经过图生图将草图重绘,在任何绘画软件中随便画上你想要的场景,比如想生成一幅夜晚的海滩图,就在草图中绘制出大致的样子,随后放入图生图中,提示词需要将想生成的画面用文字描述出来,如:beach,
night, moon, sea, water ,重绘幅度拉高后生成。

图生图的具体应用固然不止这些,希望这篇文章的案例能打开你的思维,享受AI带来的快乐~
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

提示词

Stable Diffusion 最强提示词手册

  • Stable Diffusion介绍
  • OpenArt介绍
  • 提示词(Prompt) 工程介绍

在这里插入图片描述

第一章、提示词格式

  • 提问引导
  • 示例
  • 单词的顺序

在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

第二章、修饰词(Modifiers)

  • Photography/摄影
  • Art Mediums/艺术媒介
  • Artists/艺术家
  • Illustration/插图
  • Emotions/情感
  • Aesthetics/美学

在这里插入图片描述

在这里插入图片描述

第三章、 Magic words(咒语)

  • Highly detailed/高细节
  • Professional/专业
  • Vivid Colors/鲜艳的颜色
  • Bokeh/背景虚化
  • Sketch vs Painting/素描 vs 绘画

在这里插入图片描述

第四章、Stable Diffusion参数

  • Resolution/分辨率
  • CFC/提词相关性
  • Step count/步数
  • Seed/种子
  • Sampler/采样
  • 反向提示词(Prompt)

在这里插入图片描述

第5章 img2img(图生图),in/outpainting(扩展/重绘)

  • 将草图转化为专业艺术作品
  • 风格转换
  • lmg2lmg 变体
  • Img2lmg+多个AI问题
  • lmg2lmg 低强度变体
  • 重绘
  • 扩展/裁剪

第6章 重要提示

  • 词语的顺序和词语本身一样重要
  • 不要忘记常规工具
  • 反向提示词(Prompt)

第7章 OpenArt展示

  • 提示词 (Prompt)

  • 案例展示

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### Stable Diffusion 像失败的原因及解决方案 #### 可能原因分析 1. **分辨率设置过高** 如果直接尝试成高分辨率像,可能导致模型性能不足从而影响成效果甚至失败。这是因为模型在处理高分辨率数据时计算复杂度显著增加,容易引发显存溢出或其他硬件瓶颈问题[^1]。 2. **资源限制** Stable Diffusion 的训练和推理过程对显卡资源有较高需求。如果使用的设备或云服务实例缺乏足够的 GPU 显存支持,则可能出现运行中断或无法完成成的情况[^2]。 3. **配置不当** 配置文件中的参数设定不合理也可能导致成失败。例如步数(steps)、采样器选择(sampler)、引导比例(guidance scale)等未调整至适合当前任务的状态[^4]。 4. **输入提示词不明确** 文本描述不够具体或者存在歧义会干扰模型理解意,进而降低输出质量直至完全失效。高质量的 prompt 应当尽可能详尽地定义目标对象及其背景环境特征[^3]。 5. **软件版本兼容性问题** 使用不同版本间的依赖库可能存在冲突情况,比如 PyTorch 版本与 CUDA 工具链之间的匹配程度会影响整体框架稳定性。 #### 解决方案建议 针对上述提到的各种潜在因素可以采取如下措施来改善: 1. **分阶段成策略** 利用 `hires.fix` 功能先成较低分辨率的基础再逐步放大并细化最终成果,这样既能减少即时运算负担又能保持较好画质水平。 2. **优化资源配置** 对于本地部署场景可考虑升级硬件设施;如果是云端操作则需挑选具备充足算力规格的服务计划选项,如 AWS 中提供高性能实例类型专门用于深度学习工作负载执行。 3. **合理调整超参组合** 结合项目实际情况试验不同的 steps 数量范围以及 guidance scales 设置找到最佳平衡点,在保证效率的同时追求理想视觉呈现效果。 4. **改进 Prompt 质量** 学习优秀案例编写更加精确具体的文字说明作为 input 提供给 AI ,有助于获得更贴近预期的结果表现形式。 5. **验证环境一致性** 确认所安装的所有组件均来自官方推荐源且相互之间不存在已知矛盾之处,必要时重新构建干净的工作区以排除外部干扰项的影响。 ```python import torch from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda") # 更高效的调度算法替换默认 EulerDiscreteScheduler pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config) prompt = "a photo of an astronaut riding a horse on mars with vibrant colors and detailed textures" image = pipe(prompt=prompt, num_inference_steps=20, guidance_scale=7.5).images[0] image.save("./astronaut_rides_horse.png") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值