[Stable Diffusion] 三句话，让Ai帮你画18万张图（附安装包）

于 2024-05-11 10:32:44 发布
阅读量634 收藏 14
点赞数 14
文章标签： stable diffusion 人工智能 网络 tcp/ip 服务器 AI绘画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z099164/article/details/138704934
版权

本文介绍Stable Diffusion的快速上手，本地部署，以及更多有趣的玩法展示。(文末领取一键安装包）

在 DALL-E 2 和 Imagen 之后，AI绘图领域又一个热乎的深度学习模型出炉——Stable Diffusion 。8月份发布的 Stable Diffusion 更加高效且轻量，可以在消费级 GPU 上运行。StableAI公司表示：“它在速度和质量上的突破意味着它可以在消费者级的 GPU 上运行。这将允许研究人员和公众在一系列条件下运行它，并使图像生成普及化。”

这意味着现在你只需一句话和几十秒的时间，就可以让你脑海中天马行空的画面出现在你眼前：

image.png

或者随手画一笔，让ai帮你加“亿点点“细节：

image.png

怎么上手玩起来

前两种方式都比较简单，Colab看起来复杂，实际上一步一步按照提示来，也很简单。所以本文着重讲解本地部署的步骤和如何解决会遇到的坑。

  1. 官方在线Web App - DreamStudio
    • 👍 最易上手，登录即可直接使用
    • 👍 可视化调参
    • 😡 免费次数有限
  2. Google Colab运行
    • 👍 免费，次数无限
    • 😥 操作略微繁琐
    • 😥 不能持久运行
  3. 本地、云服务器部署
    • 👍 本地部署免费，次数无限
    • 👍 功能完整，可玩性高
    • 😥 硬件要求高
    • 😥 租用云服务挺贵
    • 😥 初次部署较为麻烦

DreamStudio

最简单无脑的上手途径，打开官网，输入一段话，等待结果出来就可以。没啥好说的，适合快速上手体验一下，或者付费玩家。

beta.dreamstudio.ai/dream

image.png

Google Colab运行

“Colab”，是 Google Research 团队开发的一款产品。可以通过浏览器编写和执行Python。可以免费分配使用包括 GPU 在内的计算资源。

打开这个Colab笔记本页面，按照步骤和提示执行就OK了。可能存在的坑模型的载入，需要用到Hugging Face ，不过也都不是什么问题。

虽然看着繁琐，但是可以薅羊毛用免费的显卡资源，性能也还不错，还是很香的。 colab.research.google.com/github/hugg…

本地/云服务器部署

目前存在多个基于官方代码仓库fork出来的不同版本，可以有不同的部署和运行方式，包括docker部署，webUI。这里讲解基于官方的原版进行部署和使用，其他的方式都大同小异。

硬件

本地10G显存以上的显卡（显存不够也有其他办法），或租用拥有对应配置的云服务

环境依赖

Python，Conda

具体步骤
1. 下载模型权重文件

这个放在第一位是因为权重文件太大了，建议先下载起来，其他步骤在操作时，他可以在后台慢慢下载。

目前最新的是sd-v1-4.ckpt，版本越高，训练的数据量越大，下载最新版本即可，4.27GB

去huggingface下载：huggingface.co/CompVis/sta…

curl下载：

curl https://www.googleapis.com/storage/v1/b/aai-blog-files/o/sd-v1-4.ckpt?alt=media > sd-v1-4.ckpt
2. 安装python

dddd, 不赘述

3. 安装Conda

Conda 是一个依赖包和环境管理工具，有Anaconda 和 Miniconda两个版本，这里使用Miniconda就可以。

可以官网下载对应的安装包，也可以命令行下载安装。

docs.conda.io/en/latest/m…

如果安装成功，可以通过 conda --version 查看版本，conda准备好就可以进入下一步。

4. 拉取Stable-Diffusion代码库到本地

github.com/CompVis/sta…

git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion/
5. 创建并激活 Conda 环境

a. 创建ldm环境

进入Stable Diffusion代码目录，使用environment.yaml文件，创建Conda环境。

conda env create -f environment.yaml

这个命令会根据environment.yaml文件，创建一个名字叫做ldm的虚拟环境，下载对应的依赖。这一步是很容易出现问题的地方，因为依赖比较多，安装时间比较长。可能会出现某些依赖安装时间特别长，最后失败的情况。

可能出现的问题：

  1. 因为过程中会用到pip安装依赖，如果安装依赖时间过长，可以在conda create执行前，先配置pip的国内镜像。根据我实际尝试的情况，建议使用清华镜像，阿里云镜像也很慢。
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  1. 如果出现：Pip subprocess error: ERROR: Command errored out with exit status 128: git fetch -q … 的错误，则检查当前网络环境对github的访问是否通畅。
  2. 安装失败尝试再次安装时，可能出现提示环境已存在。这时候可以删掉原来的ldm环境，再重试安装。
# 查看已存在环境
conda env list
# 先切换到base环境
conda activate base
# 删除ldm
conda env remove --name ldm

b. 激活ldm环境

conda activate ldm
6. 生成脚本跑起来！

走完前面这些步骤，确认一下你的模型权重文件下载好了没有，--ckp 参数就指向这个文件。按照下面的参数，执行txt2img.py脚本。

python scripts/txt2img.py --prompt "rainbow ice cream cone" --plms --ckpt sd-v1-4.ckpt --skip_grid --n_samples 1

如果执行成功，你应该可以在output文件夹内找到生成出来的彩色甜筒🍦的图片。

image.png

可能出现的问题：

  • PytorchStreamReader failed reading zip archive
    • 模型文件下载不完整，重新下载即可

尝试把 --prompt 参数换成脑洞大开的各种描述词吧。其他参数详情可以参考git主页。github.com/CompVis/sta…

除了文字生成图，还有可以玩图生图。

一些能让图像更加有趣的提示词内容建议：

  • 描述画面里想要存在的元素，物品，情绪
    • 森林，秋天，雨水，雾，苔藓，城堡，樱花，海浪，山，神庙
  • 氛围，情绪
    • 快乐，阴郁，赛博朋克，霓虹，蒸汽朋克，原子朋克
  • 画风
    • 现实，逼真, 油画, 铅笔画, 概念艺术, 超现实，魔法，幻想，中国山水
  • 艺术家
    • 达芬奇, 梵高 (油画), 莫兰，莫奈 (风景）,宫崎骏与吉卜力工作室
    • Artgerm（漫画精致五官）,Yuko Shimizu（插画）
  • 润色和修饰(一些神奇咒语)
    • 虚幻引擎，octane render（3D渲染）, ArtStation, 8k, 4k, washed colors

image.png

Ultra realistic photo, princess peach in the mushroom kingdom, beautiful face, intricate, highly detailed, smooth, sharp focus, art by artgerm and greg rutkowski and alphonse mucha

😝 更多玩法
显存不够10G怎么玩

可以使用显存占用优化的版本，牺牲推理速度，以获得比原始版本更少的显存占用。可以使用2.4G显存生成512*512尺寸图片。

为了减少显存使用进行的优化：

  • 将Stable Diffusion模型分成四个部分，仅在需要时才发送到 GPU。计算完成后移回 CPU。
  • 注意力计算是分部分完成的。

github.com/basujindal/…

接入机器翻译，让他支持中文提示词

开启web服务，接入有道翻译api，让他自动翻译输入的中文提示词，并执行图片生成。

image.png

说到中文支持，百度文心大模型发布的“ERNIE-ViLG 文生图”，最近也在开放测试，有更好的中文语境理解，更能理解你的中文梗。不过完整功能需要申请体验，参数较少，可玩性比较弱。

更有意思的图生图

除了单纯的文字作为输入生成图片，Stable Diffusion还支持文字+图片作为输入，生成新的图片。就像最前面所展示过的，可以理解成你提供一个草图，ai根据你的要求，帮你添加亿点点细节。

这是我尝试的，使用一个简单的线条图片，加上一段描述文字：“一只耐克鞋”，所生成的结果：

image.png

如果我把他的输出再次变为输入，重复渲染，可以得到更多不同的结果。甚至可以一秒换品牌…

image.png

Stability AI 的口号是 “AI by the people, for the people”。AI从群众中来，到群众中去。他可以单纯用来创作你天马行空的想象，也可以用作你文章的免费配图，能辅助你的工作，甚至能参赛获奖！赶快玩起来吧。

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方添加，即可前往免费领取！

​

程序员小八
关注
  • 14
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
三句话，让Ai帮你画18万张图
sybh的博客
01-08 995
​ 在 DALL-E 2 和 Imagen 之后，AI绘图领域又一个热乎的深度学习模型出炉——Stable Diffusion 。8月份发布的 Stable Diffusion 更加高效且轻量，可以在消费级 GPU 上运行。StableAI公司表示：“它在速度和质量上的突破意味着它可以在消费者级的 GPU 上运行。这将允许研究人员和公众在一系列条件下运行它，并使图像生成普及化。” ​
latent diffusion model 复现问题记录
weixin_42570231的博客
05-28 3265
此外，如果出现**ModuleNotFoundError: No module named ‘XXX’ **则说明包的版本不对，可以按照environment.yaml的要求，替换成正确的包。按道理来说，环境到这里就算配置完成了，但是有一个巨坑一定要注意！试了半天绝对路径的调用方法，不如直接调换代码文件的位置来的快~这时候可以直接把这两行注释掉，利用下面的命令进行手动安装，基于此，就可以按照官方给的指令运行代码，生成自己的数据集了。
【conda activate】命令激活以及conda常用命令（虚拟环境的一些配置）
热门推荐
满堂花醉三千客，一剑霜寒十四州
01-07 3万+
conda activate命令激活以及常用conda命令介绍。
【AI绘画】如何优雅的在本地配置 novelai ？
zero的博客
10-20 4341
大家好，最近 AI 绘画太火了，火到我无论是打开b乎还是b站，都会给我的首页推荐AI绘画相关的。当然我也是收藏和关注了一大波内容，后续会分享出来，各路大佬的新奇玩法。网上有一大堆一键安装的教程，但是很多人提示存在一定的风险，而且还有一个问题就是在没有会员的情况下，下载所需的时间太久了。今天分享的内容就是如何不浪费大量时间去下载，以及不使用科技的情况在本地安装。 思路必须安装：1）英伟达显卡驱动（推...
Python+AI实现AI绘画
左手の明天的博客
12-11 3418
Python是一种流行的编程语言，可用于创建各种应用程序，包括AI绘画。AI绘画是使用机器学习和深度学习技术来生成艺术作品的过程。在Python中，可以使用各种库和框架来实现AI绘画。
Stable Diffusion教程 从入门到精通（下载地址）附安装包+安装文档.txt
07-19
1、Stable Diffusion保姆级安装教程 知识点：如何在goolge云端Colab安装Stable Diffusion以及使用Stable Diffusion的中文语言包汉化.mp4 20、报错修复！关于Stable Diffusion 腾讯云安装部署一键安装脚本近期出现...
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
ai绘画Stable Diffusion安装包与教程WebUI版本文字生成图片
11-05
Stable Diffusion本地部署安装包与教程 AI绘画，文本生成图片，WebUI 输入英文描述然后点击生成就可以了，根据描述语生成精美图画 注意 1、英伟达显卡显卡最低4G，最好是6G以上，显卡内存越高越好，效果更佳 2、...
AI绘画-stable diffusion 应用项目包
07-24
Stable Diffusion 是⼀种基于深度学习的 AI 绘画技术，它能够根据⽤户提供的⽂本描述或图像草图，⾃动⽣成相应的艺术作品。Stable Diffusion 的⼯作原理主要包括两个步骤：⾸先，它使⽤⼀个预训练的图像⽣成模型，该...
stable diffusion的AI 绘画关键词库及80G+的热门Lora模型下载
08-06
stable diffusion的AI 绘画关键词库及80G+的热门Lora模型下载，包括但不限于： 1 欧漫 1 武侠 2 2.5D 2二次元 2 卡通 2矢量 3 3D 3 手绘 4 摄影 5 国风感 6 小动物 7 特殊风格 8 服装 8 物品风格 9 功能性 10 建筑 ...
复现问题记录 | Stable Diffusion(LDM) (in python3)（一）
qq_37236149的博客
10-09 7287
记录复现LDM遇到的问题。
AI 作画《Concept Art概念艺术》| 用stable diffusion生成
idol24的博客
10-29 1760
前言“Concept Art”是一个艺术门类，即所谓“概念艺术”、“概念设计”，也称为“初步设计”。一般常见于影视或游戏设计中，服务产品最初的视觉效果，是游戏或影片的核心工作内容之一。下面让我们使用当前很火的扩散模型stable diffusion，生成一些概念艺术作品！看看AI作画的能力如何！1、古代印度尼西亚村民，电影，详细，大气，史诗，概念艺术输入：ancient indonesia, in...
AI 作画第二弹
云水木石
09-27 1289
上次一次尝试 AI 作画，还是在 6 月份，详情可见 《AI 作画初体验》。那个时候使用的是 Google 开发的 DD (Disco Diffusion) 系统，使用的版本为 V5.0。DD 作画的确令人惊艳，但没想到，不到两个月的时间，SD (Stable Diffusion) 斜里杀出，一下子抢了 DD 的风头。之前研究 DD 作画入魔的和菜头，也转头倒向了 SD。下面是他的作品：人物肖像画...
Python实现 AI 绘图（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
Python_paipai的博客
04-07 691
今天给大家带来了 Python 对接阿里大模型，通过 AI 实现文本生成图片。
chatgpt赋能python：Python怎么AI绘画
yakuchrisfor的博客
06-09 697
AI绘画是一种利用人工智能和机器学习方法创造出数字和绘画作品的技术。在此过程中，Python语言发挥了重要的作用。人工智能可以加速创造过程，特别是当它需要处理大量数据时。Python提供了强大的图像处理库和机器学习库，使得创造AI绘画成为可能。有许多技术可以通过Python实现AI绘画，例如图像生成技术、图像转换技术、自然语言处理技术、特征提取技术等等。这些技术需要许多不同的算法和模型来实现。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt。
Python ！AI绘画
cyn20131018的博客
10-06 172
【代码】Python！AI绘画。
在win10电脑上搭建python环境下的本地AI绘画工具Stable Diffusion
m0_60659514的博客
06-14 4975
Stable Diffusion是一种可以部署在本地环境上运行的人工智能绘画工具
python训练ai作画的代码
weixin_35757191的博客
12-29 1529
你可以使用 Python 来训练一个 AI 来进行绘画。这里是一个基本的代码示例： ``` import tensorflow as tf 定义输入和输出的占位符 inputs = tf.placeholder(shape=[None, 28, 28, 1], dtype=tf.float32) outputs = tf.placeholder(shape=[None, 10], dtype=tf...
大家都在用的AI作画Python几行代码就可实现
馒头糕饼一齐要博客
02-18 3426
随着技术的发展，验证码越来越复杂，接下来我们解决常用的几种,需要用到的库有selenium、PIL。
stable diffusion 秋叶安装包
07-28
Stable Diffusion秋叶安装包主要是为了在云平台上使用秋叶集成的Stable Diffusion WebUI，并且利用pyTorch2.0的高性能。该安装包主要集成了python环境和Windows下的git工具，同时还包括了一个Windows的启动器程序，用于控制环境变量的加载和安装、升级一些扩展组件等。这样，在Windows下解压缩后，就可以直接使用Stable Diffusion。然而，需要注意的是，Stable Diffusion的集成度较高，但是对于高性能运行，可能需要更高级别的显卡，如RTX4090。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [基于趋动云部署秋葉aaaki的Stable Diffusion整合包v4--linux版](https://blog.csdn.net/supperman_009/article/details/130618045)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值