【AIGC】超完整的Stable Diffusion 学习应用指南(8月最新版)

156 篇文章 3 订阅

学会 Stable Diffusion 后怎么用 ?

Stable Diffusion就要应用落地提升生产力,接下来我以我的应用案例来给大家讲讲我是怎么应用落地的,其他行业的应用原理也是相通的,可以作为参考。

图片

BDicon生成三维图标

BDicon是我炼制的用于B端风格三维渲染图生成的大模型,主要使用ControlNet进行精准线稿生成,之前有写过一篇文章详细介绍生成细节操作,这里仅展示生成成果和分析。

图片

如何用Bdicon大模型低门槛生成B端三维图标

图片

图中第一行是文生图生成的,目前仅有部分物品文生图效果比较好,更多的文生图优化还有待后续炼制XL版本模型来实现,XL的文生图能力要好上许多,能清晰认识更多物品和概念。

第二行和第三行都是基于线稿生成的图像,可以根据业务需求自行绘制线稿控制生成结果,真正应用于工作。

图片

下图中是使用简单线稿进行生成的效果,整体已经不错了,但是有些细节造型会有些小扭曲,比如正确勾号,目前的实践解决方案是加大分辨率后出图细节就能得到明显改善。

图片

下图的高分辨率图像的细节造型就有了明显改善,正确勾号造型正确了。但是高分辨率放大也带来了新的问题,比如用户头部多出的造型,和背景元素被重绘的更多更明显了,这些问题可以通过PSbeta的AI功能去解决。

图片

下方是BDicon的用户山卡拉叔叔的实践案例,虽然显卡只是1660s,但也有不错的效果。显卡只决定能不能跑,跑的有多快,生成的图片质量如何还是要看具体参数设置。

图片

图片

下方是小红书用户的实践案例,有了BDicon快速满足需求方有个图的需求,轻松下班哈哈

图片

上方的都是简单线稿生成,接下来我们来看一下复杂线稿的生成效果,复杂线稿的具体参数需要对应调整,具体细节可以关注后续更新。

图片

通过替换提示词,可以低成本快速更换色调,一个颜色耗时十分钟左右,比在三维软件中更改色调再重新渲染节约了数十倍的时间。虽然细节还有瑕疵,但要求不高的需求可以用了,要求高的需求也可以可以作为方向性参考与团队先过一遍,确定了再照着这个方向做,对齐双方预期,避免因为预想结果不同造成的反复修改。

图片

微软风lora叠加风格

下图即是文章开头的视频中提到的微软风LoRA叠加到BDicon 上生成的效果,让成图结果带有了明显的柔彩质感。

图片

图片

多叠加Lora也有机会出现神奇的效果,下方是BDicon的用户山卡拉叔叔叠加了blindbox, microsoft design,御火 V2,CGgame C4D bsw 等4个LoRA生成的效果,多样化了许多,这种LoRA叠加的权重设置没有明显通用的规则,往往需要靠着对各个LoRA的了解来设定和尝试最佳设置。

图片

图片

训练模型满足特定需求

SD之于MJ的一大区别就是自主训练模型满足特定需求,例如我的BDicon和微软风模型就是为了满足B端设计所需的三维模型的特定需求而训练的。市场上的人像模型、游戏模型、IP模型、电商营销模型也都是如此为了满足各自特定的需求而训练的,下方是我写的一些训练模型和应用模型相关经验的文章,有兴趣的可以前往本号文章列表查阅。

**图片
图片

Dreambooth 官方炼丹教程万字详解-Epochs\Batch size\学习率 等超参数调优 (一)

图片

Dreambooth 官方炼丹教程详解-影响显存的高级设置(二)

接下来我以得到AIGC专家海辛转发推荐的微软风LoRA为案例,向大家展示不打标的极简炼丹术的训练思路。本思路可以适用于各种画风迁移到SD的需求,不仅局限于MJ出品的画风,任何训练集的画风都可以的。

图片

这是MJ生成的微软风图标训练集,本次使用了100多张这样的图片作为训练集提供给SD进行学习,并未进行打标处理,分辨率也是1024。

图片

这是训练完模型后进行XY轴测试模型效果的截图,将不同训练成果叠加于不同底模之上,即可直观的感受到不同的表现,然后再根据各方面表现筛选效果最好的那一个,作为最终成品LoRA文件发布。

当然,很难一次训练就得到最佳成果,往往需要从基础参数开始,多次调整训练参数才能得到满意的成果。

图片

下图是我训练的另一个暗橙色风格的大模型SDicon,使用了50张素材左右的训练集进行训练,Ckpt大模型的训练并不一定比LoRA难,但对电脑性能和硬盘空间的需求是确定性的更多,一次训练产生几十G的文件很正常。

图片

图片

利用SD做其他有趣的事

学会SD后,除了应用于正经工作提效以外,我们还可以做些有趣的事情。例如利用SD的AI能力融合现实中无法融合的物体,轻松五分钟产出以前需要用PS辛苦的合成五小时的融合创意图。

我将这种融合创意图应用于我和B站合作的H5小游戏的效果也挺有意思,这次小游戏为了呼应《塞尔达·王国之泪》游戏上线而做的融合玩法收到的反响还不错,游玩次数也突破了10W+,并且加上多次推翻修改的制作成本依旧只有传统PS合成方式的几十分之一,详情可以看我写的这篇总结文章

图片

AI绘画商用案例:Stable Diffusion 生成B站塞尔达H5小游戏梗图

图片

图片

SD的放大能力还能用于放大MJ生成的图片,将不足2k的图放大为5k超清并且合理的增加细节,可以有效提升图片的品质水平。

下图是我生成的银河舰队系列战舰,使用MJ生成图片后再到SD里添加细节和放大,最后在剪映里组合成视频,最终相关视频全网播放量50W+,收获了2W多个赞,也算是很有趣的经历了。
图片

与视频生成AI Gen-2 联动

SD生成图片还可以进一步放入视频生成AI Gen-2里进行图生视频的处理,出来的结果也挺有惊喜的。感觉现在AI视频的发展程度已经到达MJ早期V1的阶段了感觉,技术突破应该就在这几年了,下方是使用Gen-2生成的一些视频,可以感受一下AI视频技术的突破。

图片

总结

以上就是为什么要学SD,怎么学SD,学了SD怎么应用落地等几个问题的回答了,更多实践案例及落地细节敬请期待后续课程更新,祝大家都能愉快的学会SD,生成出最棒的作品哈哈~

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 8
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
"AIGC稳定扩散"是指人工智能全球中心(AIGC)通过稳定的扩散方法来推广和普及人工智能技术。 首先,AIGC稳定扩散的目标是将人工智能技术应用于各个领域,从而促进社会的发展和进步。通过稳定的扩散,AIGC能够确保人工智能技术的普及和应用是在可靠和可持续的基础上进行的。 其次,在AIGC稳定扩散的过程中,重点关注技术的质量和适用性。AIGC积极筛选和评估现有的人工智能技术,并与专家和机构合作改进和优化。通过确保技术的高质量和适用性,AIGC能够提供可靠和稳定的解决方案,满足不同行业和领域的需求。 另外,AIGC稳定扩散还注重普及和教育。AIGC通过举办培训、研讨会和交流活动,向各界人士普及人工智能技术的基础知识和应用方法。定期发布人工智能技术的最新发展和成果,提供资源和支持,帮助更多的人了解和应用人工智能技术。 最后,AIGC稳定扩散还重视合作和共享。AIGC与各国和地区的研究机构、企业和政府合作,共享资源和经验,促进人工智能技术的交流和发展。通过建立良好的合作网络,AIGC能够更好地推广人工智能技术,建立全球范围内的合作关系,实现共同的发展目标。 总而言之,AIGC稳定扩散是为了推广和普及人工智能技术而采取的稳定方法。通过质量和适用性的保证、普及和教育的重视,以及合作和共享的策略,AIGC致力于实现人工智能技术的广泛应用,推动社会的发展和进步。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值