随着chat gpt爆火之后,越来越多的人开始关注人工智能,人工智能相关的其他应用如AI绘画,也再次得到人们的关注。AI绘画的确很上头,最近几天小编也研究一下,这里把研究的过程以及中间遇到的问题整理一下,我这里遇到的问题,相信新入门的小白也会遇到,希望本文对你能有一定的帮助。
目前常用的AI绘画工具主要有两种:stable diffusion 和 midjourney。
两者都是根据使用者输入绘画描述,进行图片生成,背后都是采用机器学习算法工作,对于两者的具体技术实现细节,这里不错过多描述,毕竟这方面小编也不擅长,哈哈哈。
从绘图效果来看,两者差别不大,对于日常绘图需求,两者都可以完全满足,这里我主要站在使用者的角度来对比一下两者的差异:
midjourney:是一个国外的商业化产品,操作简单,使用方便,出图效果完全取决于提示词。
使用门槛:
1.需要科学上网
2.需要付费,费用还挺高
这里是 midjourney的官网:https://www.midjourney.com/app/
stable diffusion 是一个免费的开源工具包,可以在本地安装,直接使用本地计算资源就可以进行绘画创作,同时stable diffusion提供了很多可以扩展的插件,可以根据场景需要,进行自定义功能扩展。
使用门槛:
对电脑配置有一定的要求,当然配置低的电脑可以可以玩,只不过出图效率比较低而已。
小编的电脑配置:
Mac os 12.5 M1
内存:16GB
CPU和GPU都是苹果芯片
输出512*512的图片大概15s左右。
前期为了学习和研究,满足一下自己的好奇心,这些都不是最重要。最重要的是先搞出一张图,把整个流程跑通。
作为一个程序员,小编比较喜欢自己折腾一些东西,这里我使用 本地安装stable diffusion的方式。
stable diffusion安装
stable diffusion的安装直接参考官网提供的安装指南即可:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki
这里有各种芯片组使用的安装方式,我的电脑是 apple芯片,安装方式使用的是:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon
安装过程主要分为如下5步,如下图:
注意:这里使用了Home Brew完成对需要依赖的安装,Home brew的安装需要科学上网,如果没有条件的话,也可以使用国内镜像安装,操作方式可以参考:https://zhuanlan.zhihu.com/p/111014448/
按照上述步骤,经过10-20分钟后,可以完成安装。
安装完成后,在 stable-diffusion-webui 目录下执行./web-ui.sh,第一次执行会比较慢,会下载一些基础模型和依赖,大概等待5-10分钟后,在控制台会看到如下图输出,说明启动成功。
此时在浏览器访问地址:http://localhost:7860 即可。
此时你会看到如下图所示的页面:
可能有的老铁看到的页面和上图有些差异:
1.你的主题是黑色的,我的怎么是白的?
2.你的是汉化的,我的怎么全是英文?
是的,我的页面是经过调整配置的,具体怎么配置,我后面会详细说明。
在上图中,一种有7个重点区域
1.模型选择区
模型对于画图至关重要,它直接决定了你要出图的风格,对于初学者直接使用其他人提供的模型就行,模型的下载后面会详细说。
2.功能区
stable diffusion支持多种绘图能力:
文生图:根据提示词描述完成图片生成
图生图:使用提供的图片作为参考,完成新图片的生成
高清化:将已有图片进行高清化处理
图片信息:如果一个图片是stable diffusion生成的,那么使用图片信息功能,可以输出生成这张图片使用的模型、提示词等信息
模型合并:是一种高阶使用方式,可以将多个模型合并生成一个全新的模型
训练:使用者可以根据自己的一些图片数据进行训练,生成一个全新的模型
setting:是对stable diffusion进行配置的控制面板,具体控制项,读者可以自行查看
扩展:可以实现对stable diffusion进行插件功能扩展,来实现对stable diffusion进行功能增强,扩展功能下面会进行具体演示
3.正向提示词
正向提示词是你与模型对话的输出框,告诉模型你想要什么,告诉模型你要绘画的内容,如人物特征,形象,背景,图片质量等。
4.反向提示词
和正向提示词作用相反,就是告诉模型,你不想要什么,通常模型在输出的图形的上会有一些瑕疵,如怪异的手指,眼睛等一些细节,你可以在这里输入这些你不想要的内容。
5.图片输出参数区
这些参数主要是控制输出图片的一些控制参数。
宽度、高度:这两个参数直接控制输出图片的尺寸大小,当如输出图片尺寸越大,生成图片耗时越长
采样步数(Sampling steps):决定了模型输出图片迭代的次数,迭代次数越多,耗时越长,但是效果却不是越好的,这个迭代次数,通常20-30直接,当然也取决于具体的模型,可以在生成图片的时候,可根据具体情况调整
生成次数和每次数量:决定了一次生成任务可以生成多个张图片,生成图片越多,耗时也就越长
6.图片生成
点击生成按钮,模型就开始根据你设置的参数来执行图片生成了动作了,可以根据进度条查看图片生成的进度。
可能有的老铁,经过前面几步的参数配置后,点击图片生成按钮,并没有生成图片,反而命令控制台有报错输出
如下图:
报错关键信息:
RuntimeError: "upsample_nearest2d_channels_last" not implemented for 'Half
报错的原因是现有的芯片组不支持Half参数,对于这个问题,可以在启动命令添加如下参数:./webui.sh --no-half 进行重新启动就可。
等待大概15s左右,就会在图片展示区看到你的第一张AI绘画了。
模型下载
上面介绍模型选择区的时候说过,模型对于stable diffusion来说至关重要,他决定了绘画的风格,比如你想要画一副二次元风格的图片,那么就尽量选择一个二次元画风的模型,模型的选择要比你输入多少提示词都要好使。
对于新手小白来说,可以使用别人训练好的模型直接使用,模型的选择和下载可以到下面这个两个网站:
https://huggingface.co/models
https://civitai.com/ (C站)
模型主要分为两种:大模型(checkpoint)和微调模型(lora)。
checkpoint大模型
下面我以C站为例演示一下如何下载模型。
1.进入C站后,可以浏览自己需要的大模型,也可以有目标的搜索自己需要的模型
2.选中自己需要的模型,点击下载按钮,就会进行模型的下载,通常大模型会比较大
3.点击演示图片右下方的 “i”,可以查看演示图片的配置信息:正方向提示词,使用的模型等,使用演示图片的配置信息进行模型的验证。
4.模型下载完毕后,需要将模型文件放到/stable diffusion/stable-diffusion-webui/models/Stable-diffusion
目录下,重启 stable diffusion,在模型选择区就可以看到自己需要的模型了。
在stabel diffusion的模型中,还有一种对生成图片画风影响比较大的模型,它就是Lora,虽然他是一种微调模型,但是对于生成图片的影响也比较明显,会影响生成图片的一些细节和图片的背景。
Lora模型的下载和checkpoint大模型下载方式是一样,也可以在C站中下载,Lora模型通常会比较小。下载后的Lora模型放到如下目录: /stable diffusion/stable-diffusion-webui/models/Lora
。
lora模型如何使用呢?
lora模型会作为一个正向提示词,出现在正向提示词输入框中,使用形式如下:
<lora:LORA_CNCG_arts:1>
LORA_CNCG_arts:表示lora模型名称
1:表示模型权重,在一个正向提示词输入框中可以使用多个lora模型,但是多个模型的权重之和不能超过1
这里可能有些老铁会有这样的疑问:
下载下来的模型都是一个文件,文件名称描述性也不高,有没有一个缩略图,可以直观的看出这个模型画出的图大概长什么样子?
其实是可以的,点击在如下图所示的按钮,可以查看你的stable diffusion已经安装了哪些模型。
在下载模型的时候,在模型所在的文件夹中,放入一张和模型名称相同的图片,那么这个图片成了模型的预览图了,而且,当你选中某个模型时,stable diffusion就会直接使用这个模型。效果如下:
主题和汉化
到这里,你的stable diffusion就安装的差不多了,可以尝试的完成AI绘画了。
接下来,小编回答一下上面的的两个问题:操作控制台汉化和主题切换,同时演示一下 stable diffusion插件扩展功能。
主题切换成dark模式
切换方式很简单,只需要在访问地址后面拼接 “?__theme=dark” 即可,
完整地址如下:
http://localhost:7860/?__theme=dark
如果要切换成白色系,可以使用如下地址:
http://localhost:7860/?__theme=day
操作控制台汉化
操作控制台汉化其实是使用了一种中文插件完成的,
具体操作步骤如下:
1.打开stable diffusion webui,进入"Extensions"选项卡
2.点击"Install from URL",注意"URL for extension’s git repository"下方的输入框
3.粘贴或输入本Git仓库地址https://github.com/VinsonLaro/stable-diffusion-webui-chinese
4.点击下方的黄色按钮"Install"即可完成安装。
5.点击重启UI。
6.点击"Settings",左侧点击"User interface"界面,在界面里最下方的"Localization (requires restart)“,选择"Chinese-All"或者"Chinese-English”
7.点击界面最上方的黄色按钮"Apply settings",再点击右侧的"Reload UI"即可完成汉化
总结
到这里,你就完成完成stable diffusion的入门了,可以使用stable diffusion完成基本的绘图操作了,不过对于不是设计专业出身的老铁来说,想要完整的描述出自己想要的那副画面来说还是比较难的,也就是如何与stable diffusion进行高效的沟通,再直接一点就是如何写提示词。写提示词有一定的技巧,小编进过几天的探索,也总结出了一些行之有效的套路,会在下一篇文章中给大家分享,敬请期待。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉大厂AIGC实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉12000+AI关键词大合集👈
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。
别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。
我先来介绍一下这些东西怎么用,文末抱走。
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
(4)200多本电子书
这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。
基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。
(5)Python知识点汇总
知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。
(6)其他资料
还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!