作为当前AIGC领域的核心技术之一,Stable Diffusion以其开源免费、快速迭代和多样化应用的特点备受关注。本次我们将重点探讨该技术的基础应用方法及商业化实现路径,关于环境部署等基础配置环节,网络已有丰富教程资源可供参考,故不再赘述。为方便读者高效获取信息,本文已提供清晰的导航结构,您可根据实际需求选择性查阅相关章节内容。以下将从基础操作原理到商业场景落地,系统性地解析这一前沿技术的实践应用方案。
一、基本玩法
1、文生图及注意事项
2、图生图及注意事项
二、基础大模型及微调模型
1、基础大模型
2、微调模型——lora
三、AI精准可控
1、控制AI动作
2、优化手部
四、商业应用
1、电商领域AI模特
2、绘画辅助
3、创意灵感激发
4、头像壁纸
以下为正文内容,进入正题:
一、基本玩法
1、文生图及注意事项
这个比较简单,就是在tex2img这个选项卡这里,输入正反提示词,设置参数,点击Generate按钮后就能得到图片,下图是Stable Diffusion的生图界面。
这里重点提示一下如何通过某几个参数的设置得到画质清晰的图片。第一次玩大家可能有这种体验,一般我们在选择基础模型,设置以上需要设置的内容后,生成的人物的脸总是模糊不清,或者直接崩掉,反正生成的效果跟Midjourney差得远。怎么解决这个问题呢?
大家可能会想到调整采样步数,比如20调整到30步,步数越高画面调整的越精细嘛;Sampling method从默认的Eular a调整到DPM++ SDE Karras,但其实最终的效果依然不好。
怎么办呢?我们可以通过高清修复(Hires. fix)这个选项可以很好解决这个问题,并且把Denoising strength调整到0.5-0.7之间,Upscaler选择R-ESRGAN 4x+,最终的效果就好多了。以下是同一个大模型、同样的正反提示词,调整不同参数生成的图片对比,可以看出高清修复确实对模特的脸效果十分明显。顺便提一句,脸部修复的选项似乎对模特面部没什么用,没有高清修复好用。
左边是直接生成的,右边是高清修复的
以下是右边图片参数设置的截图,大家可以自己参照玩一玩。
2、图生图及注意事项
图生图,也就是说Stable Diffusion可以根据你上传的图片调整大模型或者参数后再次生成图片。例如,我想给一张写实的图片换一个二次元风格,调整基础大模型为二次元风格,输入正反提示词就可以得到以下效果。
另外图生图的高清修复需要在settings-upscaling这里设置,具体如下图:
心细的小伙伴可能会问,大模型是什么,图片是怎么从写实风变成二次元或者漫画风的?别急,接着往下看⬇️
二、基础大模型及微调模型
1、基础大模型
一般我们下载完Stable Diffusion WebUI后都只有一个基础的大模型,偏写实风,也就是下面我截图的这个。
但是这个大模型比较单一,生成图片的风格也就一种,就像刚刚我们想要一个二次元,或者动漫、国风等等这些风格,就需要再去下载其他的大模型进行图片训练。
基础大模型我们可以去到C站,C站链接如下:https://civitai.com/ 。每个模型都有图片示例,大家可以选择自己喜欢的模型进行下载。
下载后的模型将其放在stable-diffusion-webui/models/Stable-diffusion/这个目录下,刷新模型这里就可以显示已经下载的模型了。
2、微调模型——Lora
除了基础大模型,还有比较火的微调模型可以下载使用,Lora可以理解为是基础大模型下的又一个小模型。比如一个写实风的模型,我想要小姐姐的脸各式各样,那就需要在写实风格大模型下有不同脸蛋的模型,最终才能生成不同的脸来。
Lora模型可以在网上下载(还是上面提到的C站,带Lora标签的模型),或者是自己炼(此处不展开讲,可开篇另讲)。下载的模型安装在/stable-diffusion-webui/models/Lora路径下,然后重启Stable Diffusion WebUI,在文生图或图生图界面的生成按钮下,可以看到一个又红又白又黑的图标,该图标名为show extra networks(显示额外网络),点击该红色图标将会在本页弹出一个面板,在该面板中可以看到Lora选项卡,在这里可以看到已经安装的Lora模型,点击模型名称将会自动该角色名称加载到prompt文本框中。
以上是单个Lora模型的应用,如果我们想要多个Lora模型混合使用怎么办呢(比如多个明星的脸混合生成)?就需要额外下载一个插件——Additional Networks。
下载地址:https://github.com/kohya-ss/sd-webui-additional-networks 。
安装步骤:打开Extensions——点击install from URL——输入上面的下载地址——最后点击Install,最后重启WebUI就可以看到Additional Networks这个入口了。
点击Additional Networks小三角可以设置不同的Lora模型的权重占比,下载的Lora模型记得放到/stable-diffusion-webui/sd-webui-additional-networks/models/LoRA这个目录下,这样在Model这里才能选到我们下载的Lora模型。
三、AI精准可控
相信大家玩了一段时间后也会发现,AI出图是能出,但是很多时候想象力太丰富,画面会跑飞,得不到自己想要的内容,怎么办呢?这里就必须讲到AI的精准可控,让AI更懂我们的需求。
1、控制AI动作
讲动作就必须讲到controlnet的openpose功能,有了这个功能我们就能让AI做出任何我们想要它做的动作啦~
首先我们需要安装这个controlnet插件,下载和安装方法同Additional Networks,只是下载链接换成https://jihulab.com/hunter0725/sd-webui-controlnet ,安装成功后就能在Additional Networks选项卡下面看到ControlNet这个选项卡了。
大家可能也看到了,我这里不止一个ControlNet,这是在setting——ControlNet这里设置的,需要几个就设置几个,一般3个够用,然后应用设置,重启UI。
当然有了ControlNet没有图形的构造方式,也到不到我们刚刚想要模特摆不同pose的目的,这个构造方式也就是我们说到的openpose之类的模型了。
下载地址:https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main 。
下载后的模型放在/stable-diffusion-webui/extensions/sd-webui-controlnet/models目录下。
处理好安装的工作后,我们就能看到我们想要的姿势控制模型了,按照下图提示设置好。
然后我们就可以上传openpose的骨骼图,或者直接上传某张图片,用这张图片的人物姿势。如果想要自己设置人物的骨骼图,可以下载openpose editor插件,下载地址及安装方法参见:https://github.com/fkunn1326/openpose-editor 。
安装成功后就能看到openpose editor这个标签页,在右边有骨骼图,可以用鼠标移动或改变它的姿势。也可以添加背景图片,比如一件衣服,让那个骨骼图的姿势跟衣服大致匹配(AI模特试衣),最后将骨骼图发送到图生图或是文生图就可以使用,或者自己保存图片也可以。
2、优化手部
我们知道,不管是人画还是AI画,手都是千古难题。诶嘿,现在我们可以通过controlnet的depth功能解决手的问题啦!下面这几张图片就是结合了上面讲到的openpose和depth模型出来的图。
如何得到这个深度图呢?也就是depth,一个是可以拍自己的手,在WebUI这里跑一张手部的深度图,然后在PS里将手的深度图与openpose的骨骼图自然拼接在一起,然后分别利用图层将手和骨骼图存为两张图片,再去WebUI里上传这两张图片,进行controlnet控制就可以了。另一种是可以直接借助depth library这个插件,这里有很多手部的动作,可以直接生成深度图并发送到controlnet使用。安装地址及方法详见链接:https://github.com/jexom/sd-webui-depth-lib 。
当然controlnet除了openpose和depty外还有其他的构造方式,例如canny等,这里就不细讲了,大家可以自行探索一下。
到目前为止,我们可以通过正反咒语以及人物姿势控制生成各种风格、画质较为清晰、动作可控的作品了,那么Stable Diffusion有哪些潜在的商用价值?又是如何实现的呢?接着往下看⬇️
四、商业应用
1、电商领域AI模特
大家都知道电商领域模特的费用相对于店铺经营来说是比较高的,不管是服装,还是饰品,亦或是鞋包,但是模特的展示确实是在一定程度上能激发人们的购买欲。如何用Stable Diffusion生成免费的模特呢?目前市面上有两种思路供大家参考:
(1)给石膏模特换脸
用到的是stable diffusion的inpaint功能,如下图就是现场实拍的石膏模特,然后利用inpaint功能生成模特的对比图。
因为具体操作比较简单,就是将需要生成的地方用inpaint涂抹,让Stable Diffusion生成就行,这里就不啰嗦了,详见截图吧。另外手部可以用openpose处理,这里就不做演示了。
(2)将平铺或白底的服装穿在AI模特身上
这种稍微复杂一点,但是没有前期石膏模特的准备工作,动作也不用石膏模特的,用插件想怎么摆就怎么摆,也不用PS来回处理,而且衣服边缘的细节也会处理地更好,说一下具体操作步骤:
①利用图生图的inpaint upload,inpaint upload处上传要给模特穿的衣服以及蒙版的处理图(遮罩)。注意upload处蒙版的处理图白色是遮罩范围,如果我们把衣服处理成白色(此处用PS简单处理得到蒙版图即可),那么mask mode要选择“重绘没有遮住的地方”。反之亦然,如果衣服是黑色,其他部分是白色,那么mask mode就要选择“重绘遮住的地方”。
②在controlnet这里上传要给模特穿的衣服的图片,预训练和训练模型选择canny,画布尺寸与原图片保持一致。此处是第一个controlnet。
③利用openpose editor或者3D openpose给衣服调整一个合适的模特姿势,调整好模特的姿势后将骨骼图和手部的深度图发到第二、三个controlnet,详见下图。
④调整好controlnet这里的模型参数及画布大小,点击生成就可以了。
不管是那种方法,思路都是不炼衣服炼模特,因为衣服是实物,必须是实拍的,要不然想直接通过图生图的方式生成,那最终出来的衣服就会是严重的“货不对板”。
2、绘画辅助
听说最近一段时间不少原画师失业了,估计跟AI辅助绘画有丢丢关系吧。例如一些动漫的画面、小说的封面、插画等,基本上就可以用AI辅助出图了,效率可以得到较大提升。
3、创意灵感激发
比如服装设计、饰品、鞋子等,也都可以从AI中寻求设计灵感,毕竟AI有时候不是人的脑子,各种奇怪的组合也许能出什么新东西。
4、头像壁纸
直接生成壁纸或者头像挂到第三方网站卖,利用AI快速生图的便利性,批量生图。
Stable Diffusion在各行各业的应用大家可以自行探索,关于商业变现部分就到这啦~
在本文中,我们系统性地介绍了Stable Diffusion的基础应用方法及商业化实现路径。需要特别说明的是,作为一款快速迭代的开源技术,Stable Diffusion的版本更新频率较高(通常每周都有重要优化),因此部分操作细节可能会随版本升级而有所调整。我们建议读者在实际应用中参考最新的官方文档和技术社区动态,同时也诚挚欢迎各位在评论区分享您的实践经验和专业见解,共同探讨这一前沿技术的应用与发展。
这份完整版的AI兼职副业资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
针对各位初学者,这里列举了一条完整的学习计划,感兴趣的可以阅读看看,希望对你的学习之路有所帮助,废话不多说,进入正题:目标应该是这样的:
第一阶段(30天):AI-GPT从入门到深度应用
该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识,同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。
-----------
- GPT的定义与概述
- GPT与其他AI对比区别
- GPT超强记忆力体验
- 万能GPT如何帮你解决一切问题?
- GPT表达方式优化
- GPT多类复杂应用场景解读
- 3步刨根问底获取终极方案
- 4步提高技巧-GPT高情商沟通
- GPT深度玩法应用场景
- GPT高级角色扮演-教学老师
- GPT高级角色扮演-育儿专家
- GPT高级角色扮演-职业顾问
- GPT高级角色扮演-专业私人健身教练
- GPT高级角色扮演-心理健康顾问
- GPT高级角色扮演-程序UX/UI界面开发顾问
- GPT高级角色扮演-产品经理
- GPT高级技巧-游戏IP角色扮演
- GPT高级技巧-文本冒险游戏引导
- GPT实操练习-销售行业
- GPT实操练习-菜谱推荐
- GPT实操练习-美容护肤
- GPT实操练习-知识问答
- GPT实操练习-语言学习
- GPT实操练习-科学减脂
- GPT实操练习-情感咨询
- GPT实操练习-私人医生
- GPT实操练习-语言翻译
- GPT实操练习-作业辅导
- GPT实操练习-聊天陪伴
- GPT实操练习-育儿建议
- GPT实操练习-资产配置
- GPT实操练习-教学课程编排
- GPT实操练习-活动策划
- GPT实操练习-法律顾问
- GPT实操练习-旅游指南
- GPT实操练习-编辑剧本
- GPT实操练习-面试招聘
- GPT实操练习-宠物护理和训练
- GPT实操练习-吸睛爆款标题生成
- GPT实操练习-自媒体爆款软件拆解
- GPT实操练习-自媒体文章创作
- GPT实操练习-高效写作推广方案
- GPT实操练习-星座分析
- GPT实操练习-原创音乐创作
- GPT实操练习-起名/解梦/写诗/写情书/写小说
- GPT提升工作效率-Word关键字词提取
- GPT提升工作效率-Word翻译实现
- GPT提升工作效率-Word自动填写、排版
- GPT提升工作效率-Word自动纠错、建议
- GPT提升工作效率-Word批量生产优质文章
- GPT提升工作效率-Excel自动化实现数据计算、分析
- GPT提升工作效率-Excel快速生成、拆分及合并实战
- GPT提升工作效率-Excel生成复杂任务实战
- GPT提升工作效率-Excel用Chat Excel让效率起飞
- GPT提升工作效率–PPT文档内容读取实现
- GPT提升工作效率–PPT快速批量调整PPT文档
- GPT提升工作效率-文件批量创建、复制、移动等高效操作
- GPT提升工作效率-文件遍历、搜索等高效操作
- GPT提升工作效率-邮件自动发送
- GPT提升工作效率-邮件自动回复
- GPT接入QQ与QQ群实战
- GPT接入微信与微信群实战
- GPT接入QQ与VX多用户访问实战
- GPT接入工具与脚本部署实战
第二阶段(30天):AI-绘画进阶实战
该阶段我们正式进入AI-绘画进阶实战学习,首先通过了解AI绘画定义与概述 ,AI绘画的应用领域 ,PAI绘画与传统绘画的区别 ,AI绘画的工具分类介绍的基本概念,以及AI绘画工具Midjourney、Stable Diffusion的使用方法,还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。
- -----------
AI绘画定义与概述 - AI绘画的应用领域
- AI绘画与传统绘画的区别
- AI绘画的工具分类介绍
- AI绘画工具-Midjourney
- AI绘画工具-百度文心一格
- AI绘画工具-SDWebUI
- AI绘画工具-Vega AI
- AI绘画工具-微信中的AI绘画小程序
- Midjourney学习-Discord账号的注册
- Midjourney Bot界面讲解
- Midjourney提示词入门
- Midjourney高级提示词
- Midjourney版本参数学解读
- Midjourney功能参数
- Midjourney上采样参数
- AI绘画组合应用1-Midjourney + GPT
- AI绘画组合应用2-Stable Diffusion + GPT
- AI绘画组合应用3-AI绘画+ GPT +小红书
- AI绘画组合应用4-AI绘画+ GPT +抖音
- AI绘画组合应用5-AI绘画+ GPT +公众号
- AI绘画组合应用6-AI绘画+ GPT + AI视频
- AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
- AI绘画设计-Logo设计
- AI绘画设计-套用万能公式
- AI绘画设计-引用艺术风格
- AI绘画设计-GPT加速设计方案落地
- AI绘画设计-Vega AI渲染线稿生成设计
- AI绘画设计-摄影
- AI绘画设计-头像设计
- AI绘画设计-海报设计
- AI绘画设计-模特换装
- AI绘画设计-家具设计
- AI绘画设计-潘顿椅设计
- AI绘画设计-沙发设计
- AI绘画设计-电视柜设计
- AI绘画设计-包装设计的提示词构思
第三阶段(30天):AI-视频高段位
恭喜你,如果学到这里,你基本可以找到一份AIGC副业相关的工作,比如电商运营、原画设计、美工、安全分析等岗位;如果新媒体运营学的好,还可以从各大自媒体平台收获平台兼职收益。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- -----------
AI视频定义与概述 - AI视频制作-方案与创新
- AI视频制作-各种工具实操
- AI视频制作-美学风格(油画/插画/日漫/水墨)
- AI视频制作-形象设定(人物形象服装/造型/表情)
- AI视频画面特效处理
- AI视频画面拼接
- AI视频画面配音
- AI视频画面包装
- AI视频锁定人物逐一精修
- 多种表情动作/情节
- 动态模型转换-视频内部元素关键帧
- 动态模型转换-图像整体运动
- 动态模型转换-虚拟人
- 动态模型转换-表面特效
- AI自媒体视频-深问GPT,获取方案
- AI自媒体视频-风格设置(诗歌/文言文等)
- AI自媒体视频-各行业创意视频设计思路
- AI视频风格转换
- AI视频字数压缩
- AI视频同类型衍生
- AI视频Pormpt公式
第四阶段(20天):AI-虚拟数字人课程
- -----------
AI数字人工具简介 - AI工作台界面功能展示及介绍
- AI数字人任务确定
- AI数字人素材准备
- AI知识、语料的投喂
- AI模型训练
- AI训练成果展示及改进
- AI数字人直播系统工具使用
- AI人物在各平台直播
- AI数字人在OBS平台直播
第五阶段(45天以上):AIGC-多渠道变现课程
该阶段是项目演练阶段,大家通过使用之前学习过的AIGC基础知识,项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。
-----------
- AI-小红书引流变现
- AI-公众号引流变现
- AI-知乎引流变现
- AI-抖音引流/带货变现
- AI-写作变现
- AI-B站引流变现
- AI-快手引流变现
- AI-百家号引流变现
- AI-制作素材模板出售变现
- AI-周边定制变现
- AI-手机壳图案定制变现
- AI-周边产品定制变现
- AI-服装图案定制变现
- AI-个性头像定制变现
- AI-起号与知识付费变现
- AI-实现淘宝销售变现
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AIGC的正确特征了。
这份完整版的AIGC资料我已经打包好,需要的点击下方二维码,即可前往免费领取!