AI绘图：小白的第一本Stable Diffusion入门手册

前言

目录

小白的第一本AI修炼入门手册

1	AI图片生成——凝固的梦幻瞬间
2	AI视频生成——流动的视觉诗篇
3	AI应用案例——创新的实践探索
4	AI变现途径——让AI为你赚钱

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

AI有多重要？

现阶段，AIGC（人工智能生成内容）领域主要有两大热门趋势，一是以ChatGPT为代表的大语言模型，二是以Stable Diffusion为典型代表的图像生成技术。

Stable Diffusion因其开源免费的特性和高度灵活的定制性而备受青睐，尤其吸引那些热衷于探索和创新的人群。在互联网大厂中，AIGC 已经展现出强大的应用潜力。无论是内容创作、智能客服，还是数据分析、代码生成，AIGC 都大显身手。

此外，众多科技企业也在积极孵化 AIGC 项目，互联网巨头纷纷推出相关高薪岗位，不论是技术还是产品、运营、设计，争相占领这一技术高地。

（boss直聘AIGC相关高薪岗位）

在AI绘图领域，**Stable Diffusion以其强大的图像生成能力，以及开源免费的特点，迅速发展了强大的模型和插件生态，其WebUI项目GitHub Star数高达14万。**国内外众多互联网厂商基于SD发展了强大的插件生态，诸如腾讯AI实验室的风格迁移插件IPAdapter、阿里的艺术照写真插件EasyPhoto、小红书的人脸一致性保持方案InstantID、Stability AI 推出的开源视频生成模型Stable Video Diffusion、港中文推出的动画视频插件AnimateDiff。

Stable Diffusion 拥有惊人的图像生成能力，能够根据输入的描述或条件，快速生成高质量、富有创意的图像。这对于设计、广告、自媒体创作等需要大量图像素材的工作，是巨大的福音。在商业应用上，也是一场巨大的生产力变革。在电商领域，它可以快速生成商品展示图；在教育行业，它能为教学资料提供丰富插图；在影视制作中，它能够创造出精彩的图片及视频特效。它不仅极大地提高了工作效率，还节省了时间和成本。未来，这项技术将进一步打通内容创作的边界，开启数字时代的新篇章。

在这个时代，AI的重要性就不用多说了吧？

让我们紧跟时代步伐，充分挖掘 AIGC 的潜力，尤其是 Stable Diffusion 的强大功能，共同迎接这个充满无限可能的智能新时代！

接下来让我们看看经过一年多的发展，Stable Diffusion能做些什么?

1. 图片生成——凝固的梦幻瞬间

1.1 基础文生图：文字绘梦

Stable Diffusion 最基本的用法是文本转图像 (Txt2img)，文生图的能力已经到令人惊叹的程度了，以下是一些示例。

**例1：**输入“Astronaut Riding a Horse” ，即可生成如下图像

**例2：**输入“a dark-armored warrior with ornate golden details, cloaked in a flowing black cape, wielding a radiant, fiery sword, standing amidst an ominous cloudy backdrop with dramatic lighting, exuding a menacing, powerful presence.”

**例3：**输入“amazing quality, masterpiece, best quality, hyper detailed, ultra detailed, UHD, perfect anatomy, magic world, (kitten and fish:1.4), fish in the air, spell magic to get fresh fish as food,( fish jumping from magic book:1.3), energy flow, a full body of a cute kitten, kawaii, wearing witches robe, witches hat, holding magic book, magic book on one hand, spell magic.”

例4：“photo of a girl, cinematic film still, full plate armor.”

**例5：**输入”anime adorable cyberpunk robot chef :: by artists”

以下是Stability官网出的更多例图

1.2 基础图生图：图像新生

如果你拥有一张喜爱的图片，却期望为其赋予崭新的风格或元素？那就让图片重焕生机，无论是将风景图幻化为梦幻仙境，还是把人物照转变成艺术画作。

图像生成图像（img2img）通过借助Stable Diffusion的图生图重绘功能 ，能够把一张图像成功转变为另一张图像。

**例1：**通过重绘功能，成功地将太阳镜添加到原始图像中

**例2：**在图像中添加飞翔的鸟

**例3：**通过Controlnet的Depth（深度图），可以保持图像大致结构的情况下，重新绘制近似风格的图像。

**例4：**通过Controlnet的Openpose（骨骼图），可以保持人物姿势一致的前提下，生成各种风格的图片。

2 视频生成——流动的视觉诗篇

StableDiffusion视频生成主要分为文生视频和图生视频，相关的插件普遍能生成3-15秒，效果较好的有AnimateDiff、generative-models、Moore AnimateAnyone等，普遍能生成3-15秒，20-40帧/秒的视频。

“文生视频”顾名思义就是输入一段描述性文字，即可生成一段视频，“图生视频”即输入一个参考图，再通过描述性文字调整，参考某个视频，创造出另一个视频。

**例1：**使用AnimateDiff，提示词输入“b&w photo of 42 y.o man in black clothes, bald, face, half body, body, high detailed skin, skin pores, coastline, overcast weather, wind, waves, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3“即可

更多示例如下：

**例2：**利用Moore-AnimateAnyone插件，提供一张图片和参考骨骼图，就能让图片动起来。

由OpenAI 开发的首个文生视频模型Sora，能够根据文本指令创建长达60秒的视频，从效果上看是目前最强的视频模型之一。

**例：**输入提示词“ A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears ablack leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She.”

3 应用案例——创新的实践探索

3.1 真人转动漫/动漫转真人

想体验二次元与现实世界的奇妙转换吗？通过InstantID+IPAdapter方案，可以实现真人转动漫，动漫转真人，真人转动漫能让你瞬间成为动漫中的角色，而动漫转真人服务则能让你喜爱的动漫形象走进现实。

3.2 模特着装

在多语言、多时区、多审美的环境下，推广成本会成倍增加。在广告方面，对于面向多个国家用户的跨境电商，往往需要聘请多个国家的模特，针对不同国家量身打造营销形象、方案，并结合客户画像，分别进行拍摄和后期处理，这使得营销素材的生成成本更高且耗时。可以通过Stable Diffusion的人物重绘或者虚拟试衣解决上述痛点。

3.3 线稿上色

通过使用正负提示生成黑白线条图（也可以自己绘制或上传现有的线条图），再使用ControlNet插件，上传生成的黑白线图，点击Enable，选择Control Type canny，即可生成如下效果。

3.4 人脸复刻

基于Stable Diffusion的人脸复刻方案，一种方式是训练人脸Lora，另一种方式是通过人脸一致性插件，诸如InstanID、IpAdapter等方案。巨石强森为例

通过Lora训练，可以生成如下图像

3.5 智能打光

基于Stable Diffusion的衍生插件IC-Light，是一个光照控制项目，目前支持通过文本和背景图对前景内容进行照明控制，智能调整图像光影。

示例如下：

3.6 海报设计

你还在用P图做海报吗？聪明的设计师早已将AI运用到工作中了！Stable 甚至能生成电影级海报！

3.7 产品设计

如果你是一个电商设计师，在了解了产品想要的风格和场景之后，可以利用AI的灯光、构图、元素等，快速建图，然后再进行后期合成。

3.8 创意灵感激发 &辅助设计工作

Stable Diffusion可以帮助从事服装设计、饰品和鞋子设计的人们寻找新的创意灵感，创造出独特的产品。还可为设计师提供创作的灵感和参考，帮助他们更好地表达自己的创意。

3.9 图像修复和增强

不完美的图片可以通过Stable Diffusion得以拯救，有非常多的高清修复算法和模型可供选择，不仅可以将低质量或受损的图像变得更加清晰和逼真，还可以黑白照片变成彩色照片。不论是手抖拍糊的照片，还是童年儿时回忆，亦或是父母老照片修复，都可以让AI唤醒尘封的记忆。

3.10 风格转换

Stable Diffusion还能够将图像转化为不同的艺术风格，如印象派、涂鸦等。这为艺术家和设计师提供了一种有趣的方式，可以将图像赋予新的视觉感受。

4 AI变现途径——让AI为你赚钱

学了这么多，总要来点实际的！

4.1. 老旧照片修复

无论是儿时老照片，年迈父母年轻时影像，还是手抖拍糊的照片，亦或是低分辨率图片，以往都需要精通PS的专业人员进行修复和高清放大。而今使用StableDiffusion的高清修复功能就能轻松实现这一点，可以自动修复损坏、消除模糊、恢复褪色的颜色和细节，将旧照片变成新照片。利用这项技术，封装成一项服务，挂到淘宝或小红书进行合理的收费。

4.2 艺术字创作

在品牌标识、创意海报还是个性装饰等领域，往往都需要艺术字让文字成为视觉焦点，如果用传统的PS方式，需要繁琐的细节设计，而通过Stable Diffusion的Img2img重绘再叠加ControlNet深度图控制即可实现很酷的艺术字效果。这个功能可以封装成艺术字设计服务，主题和风格，打造出与众不同的隐藏艺术字。

4.3 四维彩超宝宝长相预测

好奇宝宝出生后的模样？Stable Diffusion可以依据四维彩超图像预测宝宝的长相，提前揭开这份神秘的面纱，更早地与未来的宝贝相见。通过Depth ControlNet + img2img再搭配合适的模型和提示词即可实现，淘宝已经有人在做这件事了。

4.4 红包封面

无论是春节等传统节日给亲朋好友的红包祝福，还是纪念日给对象的专属红包，亦或是给好友的婚礼祝福红包，很多人都渴望拥有专属的红包封面，以使祝福更独特、更个性化。通过灵活使用 Stable DIffusion ，能够设计出别具一格的红包封面，让红包在众多红包中脱颖而出。这种红包封面既可以自己使用，也可以在淘宝、小红书等平台打包售卖。龙年春节，有非常多的人在小红书、淘宝、微信社群售卖龙年专属红包封面，这是一个庞大的市场，尤其是在春节期间。

4.5 真人电子 AI 写真定制

目前基于Stable Diffusion衍生出了一些列人脸一致性保持方案，例如小红书推出的InstanID和腾讯推出的IPAdapter，可以在保证人脸相似性的情况下，生成各种风格的写真。这项技术也可以包装成一项服务，实现从服装搭配到场景设定的DIY定制化设计。

4.6 风格转换定制

Stable Diffusion可以实现各种风格的转换，以近些年爆火的赛博朋克(赛博朋克的风格主线，就是反映出科技高度发展的人类文明，与脆弱渺小的人类个体之间的强烈反差，同时外界与内在，钢铁与肉体，过去与未来，现实与虚幻等矛盾在其中交织。看似对立，宿命却链接在一起)。这种与现实的反差与对立，是许多新潮的年轻人喜欢的风格。

4.7 专属表情包

拥有一套专属的表情包，让你的表达更加生动有趣！根据你的形象、特点和需求，可以定制独一无二的表情包系列。无论是用于社交聊天、品牌推广还是个人品牌塑造，都能让你与众不同。

4.8 手机壁纸

为手机打造专属的视觉盛宴！Stable Diffusion能够实现各种风格、主题的手机壁纸，从自然风光到抽象艺术，从可爱萌宠到酷炫科技，每天都有好心情。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以点击下方免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。