AI绘图：小白的第一本Stable Diffusion入门手册

本文包含大量AI干货

阅读完大约需要8分钟

☞加入AI知识星球【AIGC（文本图像视频）特训营】，一起修炼AI

☞关注公众号【AIGC前沿洞察】，后台发送"AI"更可获取超多免费AI资源包

目录

1	AI图片生成——凝固的梦幻瞬间
2	AI视频生成——流动的视觉诗篇
3	AI应用案例——创新的实践探索
4	AI变现途径——让AI为你赚钱

前言

现阶段，AIGC（人工智能生成内容）领域主要有两大热门趋势，一是以ChatGPT为代表的大语言模型，二是以Stable Diffusion为典型代表的图像生成技术，Stable Diffusion因其开源免费的特性和高度灵活的定制性而备受青睐，尤其吸引那些热衷于探索和创新的人群。

在互联网大厂中，AIGC 已经展现出强大的应用潜力。无论是内容创作、智能客服，还是数据分析、代码生成，AIGC 都大显身手。

此外，众多科技企业也在积极孵化 AIGC 项目，互联网巨头纷纷推出相关岗位，争相占领这一技术高地。

在AI绘图领域，Stable Diffusion以其强大的图像生成能力，以及开源免费的特点，迅速发展了强大的模型和插件生态，其WebUI项目GitHub Star数高达14万。国内外众多互联网厂商基于SD发展了强大的插件生态，诸如腾讯AI实验室的风格迁移插件IPAdapter、阿里的艺术照写真插件EasyPhoto、小红书的人脸一致性保持方案InstantID、Stability AI 推出的开源视频生成模型Stable Video Diffusion、港中文推出的动画视频插件AnimateDiff。

Stable Diffusion 拥有惊人的图像生成能力，能够根据输入的描述或条件，快速生成高质量、富有创意的图像。这对于设计、广告、自媒体创作等需要大量图像素材的工作，是巨大的福音。在商业应用上，也是一场巨大的生产力变革。在电商领域，它可以快速生成商品展示图；在教育行业，它能为教学资料提供丰富插图；在影视制作中，它能够创造出精彩的图片及视频特效。它不仅极大地提高了工作效率，还节省了时间和成本。未来，这项技术将进一步打通内容创作的边界，开启数字时代的新篇章。

让我们紧跟时代步伐，充分挖掘 AIGC 的潜力，尤其是 Stable Diffusion 的强大功能，共同迎接这个充满无限可能的智能新时代！接下来让我们看看经过一年多的发展，Stable Diffusion能做些什么?

图片生成——凝固的梦幻瞬间

1、基础文生图：文字绘梦

Stable Diffusion 最基本的用法是文本转图像 (txt2img)，文生图的能力已经到令人惊叹的程度了，以下是一些示例。

例1：输入“Astronaut Riding a Horse” ，即可生成如下图像

例2：输入“a dark-armored warrior with ornate golden details, cloaked in a flowing black cape, wielding a radiant, fiery sword, standing amidst an ominous cloudy backdrop with dramatic lighting, exuding a menacing, powerful presence.”

例3：输入“amazing quality, masterpiece, best quality, hyper detailed, ultra detailed, UHD, perfect anatomy, magic world, (kitten and fish:1.4), fish in the air, spell magic to get fresh fish as food,( fish jumping from magic book:1.3), energy flow, a full body of a cute kitten, kawaii, wearing witches robe, witches hat, holding magic book, magic book on one hand, spell magic.”

例4：“photo of a girl, cinematic film still, full plate armor.”

例5：输入”anime adorable cyberpunk robot chef :: by artists”

以下是Stability官网出的更多例图

2、基础图生图：图像新生

如果你拥有一张喜爱的图片，却期望为其赋予崭新的风格或元素？那就让图片重焕生机，无论是将风景图幻化为梦幻仙境，还是把人物照转变成艺术画作。

图像生成图像（img2img）通过借助Stable Diffusion的图生图重绘功能 ，能够把一张图像成功转变为另一张图像。

例1：通过重绘功能，成功地将太阳镜添加到原始图像中

例2：在图像中添加飞翔的鸟

例3：通过Controlnet的Depth（深度图），可以保持图像大致结构的情况下，重新绘制近似风格的图像。

例4：通过Controlnet的Openpose（骨骼图），可以保持人物姿势一致的前提下，生成各种风格的图片。

视频生成——流动的视觉诗篇

StableDiffusion视频生成主要分为文生视频和图生视频，相关的插件普遍能生成3-15秒，效果较好的有AnimateDiff

generative-models、Moore-AnimateAnyone等，，普遍能生成3-15秒，20-40帧/秒的视频。

“文生视频”顾名思义就是输入一段描述性文字，即可生成一段视频，“图生视频”即输入一个参考图，再通过描述性文字调整，参考某个视频，创造出另一个视频。

例1：使用AnimateDiff，提示词输入“b&w photo of 42 y.o man in black clothes, bald, face, half body, body, high detailed skin, skin pores, coastline, overcast weather, wind, waves, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3“即可

视频01

 

例2：利用Moore-AnimateAnyone插件，提供一张图片和参考骨骼图，就能让图片动起来

AnimateDiff 示例2

 

AnimateDiff 示例3

由OpenAI 开发的首个文生视频模型Sora，能够根据文本指令创建长达60秒的视频，从效果上看是目前最强的视频模型之一。

例：输入提示词“ A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears ablack leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She.”

Sora演示视频

应用案例——创新的实践探索

1、真人转动漫/动漫转真人

想体验二次元与现实世界的奇妙转换吗？通过InstantID+IPAdapter方案，可以实现真人转动漫，动漫转真人，真人转动漫能让你瞬间成为动漫中的角色，而动漫转真人服务则能让你喜爱的动漫形象走进现实。

2、模特着装

在多语言、多时区、多审美的环境下，推广成本会成倍增加。在广告方面，对于面向多个国家用户的跨境电商，往往需要聘请多个国家的模特，针对不同国家量身打造营销形象、方案，并结合客户画像，分别进行拍摄和后期处理，这使得营销素材的生成成本更高且耗时。可以通过Stable Diffusion的人物重绘或者虚拟试衣解决上述痛点。

3、线稿上色

加一段话描述作用，与下图结合

使用正负 提示生成黑白线条图（也可以自己绘制或上传现有的线条图），再ControlNet插件，上传生成的黑白线图，点击Enable，选择Control Type canny，

4、人脸复刻

基于Stable Diffusion的人脸复刻方案，一种方式是训练人脸Lora，另一种方式是通过人脸一致性插件，诸如InstanID、IpAdapter等方案。巨石强森为例，

通过Lora训练，可以生成如下图像

5 、智能打光

基于Stable Diffusion的衍生插件IC-Light，是一个光照控制项目，目前支持通过文本和背景图对前景内容进行照明控制，智能调整图像光影。

示例如下：

6、海报设计

你还在用P图做电商海报吗？聪明的设计师早已将AI运用到工作中了！Stable 甚至能生成电影级海报！

7、产品设计

如果你是一个电商设计师，在了解了产品想要的风格和场景之后，可以利用AI的灯光、构图、元素等，快速建图，然后再进行后期合成。

8、创意灵感激发 &辅助设计工作

Stable Diffusion可以帮助从事服装设计、饰品和鞋子设计的人们寻找新的创意灵感，创造出独特的产品。还可为设计师提供创作的灵感和参考，帮助他们更好地表达自己的创意。

9、图像修复和增强

不完美的图片可以通过Stable Diffusion得以拯救，有非常多的高清修复算法和模型可供选择，不仅可以将低质量或受损的图像变得更加清晰和逼真，还可以黑白照片变成彩色照片，不论是手抖拍糊的照片，还是童年儿时回忆，亦或是父母老照片修复，都可以让AI唤醒尘封的记忆。

10、风格转换

Stable Diffusion还能够将图像转化为不同的艺术风格，如印象派、涂鸦等。这为艺术家和设计师提供了一种有趣的方式，可以将图像赋予新的视觉感受。

AI变现途径——让AI为你赚钱

学了这么多，总要来点实际的

1. 老旧照片修复

无论是儿时老照片，年迈父母年轻时影像，还是手抖拍糊的照片，亦或是低分辨率图片，以往都需要精通PS的专业人员进行修复和高清放大。而今使用StableDiffusion的高清修复功能就能轻松实现这一点，可以自动修复损坏、消除模糊、恢复褪色的颜色和细节，将旧照片变成新照片。利用这项技术，封装成一项服务，挂到淘宝或小红书进行合理的收费。

2. 艺术字创作

在品牌标识、创意海报还是个性装饰等领域，往往都需要艺术字让文字成为视觉焦点，如果用传统的PS方式，需要繁琐的细节设计，而通过Stable Diffusion的Img2img重绘再叠加ControlNet深度图控制即可实现很酷的艺术字效果。这个功能可以封装成艺术字设计服务，主题和风格，打造出与众不同的隐藏艺术字。

4. 四维彩超宝宝长相预测

好奇宝宝出生后的模样？Stable Diffusion可以依据四维彩超图像预测宝宝的长相，提前揭开这份神秘的面纱，更早地与未来的宝贝相见。通过Depth ControlNet + img2img再搭配合适的模型和提示词即可实现，淘宝已经有人在做这件事了

5. 红包封面

无论是春节等传统节日给亲朋好友的红包祝福，还是纪念日给对象的专属红包，亦或是给好友的婚礼祝福红包，很多人都渴望拥有专属的红包封面，以使祝福更独特、更个性化。通过灵活使用 Stable DIffusion ，能够设计出别具一格的红包封面，让红包在众多红包中脱颖而出。这种红包封面既可以自己使用，也可以在淘宝、小红书等平台打包售卖。龙年春节，有非常多的人在小红书、淘宝、微信社群售卖龙年专属红包封面，这是一个庞大的市场，尤其是在春节期间。

6. 真人电子 AI 写真定制

目前基于Stable Diffusion衍生出了一些列人脸一致性保持方案，例如小红书推出的InstanID和腾讯推出的IPAdapter，可以在保证人脸相似性的情况下，生成各种风格的写真。这项技术也可以包装成一项服务，实现从服装搭配到场景设定的DIY定制化设计。

7. 风格转换定制

Stable Diffusion可以实现各种风格的转换，以近些年爆火的赛博朋克(赛博朋克的风格主线，就是反映出科技高度发展的人类文明，与脆弱渺小的人类个体之间的强烈反差，同时外界与内在，钢铁与肉体，过去与未来，现实与虚幻等矛盾在其中交织。 看似对立，宿命却链接在一起)。这种与现实的反差与对立，是许多新潮的年轻人喜欢的风格。

8. 专属表情包

拥有一套专属的表情包，让你的表达更加生动有趣！Stable Diffusion可以根据你的形象、特点和需求，定制独一无二的表情包系列。无论是用于社交聊天、品牌推广还是个人品牌塑造，都能让你与众不同。

9. 手机壁纸

为手机打造专属的视觉盛宴！Stable Diffusion能够实现各种风格、主题的手机壁纸，从自然风光到抽象艺术

5 从创作秘诀到知识进阶

了解了上述这些神奇的创作方法，你是否想要更深入地掌握这门技艺，从而在创作之路上脱颖而出呢？

你不需要懂英文，也不需要绘画基础，更不需要魔法上网，只需要掌握合适的工具和方法论，就可以画出和小红书、抖音博主一样的爆款作品!

欢迎扫码进入知识星球，获取更深度、更有价值的内容专栏

【专栏内容定位】

专栏聚焦于 AIGC 领域的前沿技术和应用，旨在为对 AIGC 感兴趣、想要深入学习和应用相关技术的用户提供全面、深入且实用的知识和经验。

（1）涵盖以Stable Diffusion为代表的AI绘画技术，从实际应用场景出发，深入到底层原理架构，再到极具实践价值的落地方法论，进行全方位深度解读。着重推出 Lora 训练专栏以及 ComfyUI 工作流系列，工作流涵盖AI写真、电商模特换装、人物换脸、真人转动漫、智能抠图等多种功能。

（2）以ChatGPT为代表的大语言模型技术， 提供日常使用指导，如工作文档润色、日常数据处理、编程应用，也有插件开发相关经验分享。

（3）以Sora为代表的 AI 视频生成技术，能够通过一张或多张图生成视频，也能依据一段文字生成视频。

（4）AI 音频相关技术原理与应用，包括但不限于TTS（文字转语音）、ASR（语音转文字）、声音克隆、 AI 配音、AI 翻唱等方面。

（5）AI 工具免费分享，涵盖办公、写作、绘画、音频、视频等多个领域。

（6）AIGC领域的最新技术趋势、行业案例与副业变现的信息差。

【受众】

（1）初涉 AIGC 领域，对其充满好奇与探索欲望的新手小白。

（2）已具备一定基础，期望在技术深度和应用广度上实现进一步突破的进阶学习者。

（3）怀揣借助 AIGC 技术开辟副业新途径，致力于实现商业价值变现的创业者或自由职业者。

【带来的价值】

（1）对于新手小白而言，能够构建起系统而完备的 AIGC 知识体系，熟练掌握基础应用方法，从而为日常工作和生活注入高效便捷的新动力。

（2）进阶学习者可获取更为深入的技术分析与解读，拓展创新应用思路，显著提升自身在相关领域的竞争实力。

（3）创业者或自由职业者能够精准捕捉副业变现的宝贵机遇和行之有效的策略方法，充分汲取实战经验和信息差优势，成功实现个人的商业价值最大化。