AI绘画突然爆火？快速体验二次元画师NovelAI(diffusion)

进击的码农！

已于 2024-01-06 20:29:05 修改

阅读量1k

点赞数 18

分类专栏： AIGC 文章标签： AI作画人工智能算法计算机视觉图像处理

于 2024-01-04 18:03:59 首次发布

本文链接：https://blog.csdn.net/libaiup/article/details/135393045

版权

AIGC 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

话不多说，先看看AI绘画的效果

在这里插入图片描述
接下来带大家体验一下二次元画师novelAI。最新进展——AI绘画进军三次元，有人用它打造赛博女友？(diffusion)

1 diffusion vs GAN

所谓扩散算法diffusion是指先将一幅画面逐步加入噪点，一直到整个画面都变成白噪声。记录这个过程，然后逆转过来给AI学习。

AI看到的是什么？一个全是噪点的画面如何一点点变清晰直到变成一幅画，AI通过学习这个逐步去噪点的过程来学会作画。

diffusion和之前大火的GAN模型相比，有什么优势呢？用OpenAI的一篇论文内容来讲，用diffusion生成的图像质量明显优于GAN模型；而且与GAN不同，diffusion不用在鞍点问题上纠结——涉及稳定性问题，只需要去最小化一个标准的凸交叉熵损失即可，这样就大大简化了模型训练过程中，数据处理的难度。

总结来说，目前的训练技术让**diffusion直接跨越了GAN领域调模型的阶段，而是直接可以用来做下游任务，是一个新的数学范式在图像领域应用的实例**。

2 NovelAI

NovelAI是基于人工智能的绘画创作辅助工具，单纯训练就使用了数千个网站的数十亿张图片。NovelAI是一个商业化的网站，绘画是需要付费的，然而这次其商业模型疑似流出，不管是小白还是画师都能体验一次AI创作的乐趣。这次流出的模型是stable-diffusion-webui，也就是第一节介绍的扩散算法。

在这里插入图片描述

3 AI绘画环境搭建

主要分为以下步骤：

创建Python3.10的虚拟环境
```
conda create -n ai_draw python=3.10
```
虚拟环境相关操作请参考：Anaconda安装与Python虚拟环境配置保姆级图文教程(附速查字典)
在虚拟环境中安装Pytorch
这步比较涉及显卡相关的配置，比较复杂，请参考：最新CUDA/cuDNN与Pytorch保姆级图文安装教程(速查字典版)

下载模型stable-diffusion-webui

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

安装依赖库
首先进入虚拟环境
```
conda activate ai_draw
```
接着进入stable-diffusion-webui根目录运行
```
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
```
采用清华源可以更快完成安装
下载模型和权重文件
模型文件model.cpkt：model.cpkt，权重文件GFPGANv1.4.pth：GFPGANv1.4.pth，模型文件移动到这个目录stable-diffusion-webui-master\models\Stable-diffusion，权重文件留在根目录即可，最后的文件组织如图所示
根目录运行启动文件
```
python launch.py
```
期间会下载一些新的依赖，有可能超时报错，多启动几次即可

4 体验AI创作

通过第三节的配置，成功后即可在终端看到

在这里插入图片描述
开放了一个本地端口，在浏览器中输入即可

在这里插入图片描述
接下来测试最简单的文本生成图像功能：

输入正面标签：```
NSFW,anime fine details portrait of a white haired girl ,black eyes,wearing hoodie on the city street background, close-up view, anime masterpiece，4k, sharp high quality anime, artstation Prhololive, uruha_rushia, 1girl, bangs, bare shoulders, red eyes, blue dress, blue green hair,blue sleeves, blush, bow, breasts, chick, collarbone, detached collar, detached sleeves, double bun, eyebrows visible through hair,frills, hair orhament, medium hair, off-shoulder dress 1girl looking_at_viewer upper_body, too many flowers,kyoto animation, bishojo, bare_shoulders black sleeves yellow_eyes emeraldblue_hair, sailor_collar and neckerchief, detached_sleeves frilled_shirt_collar frills grey_shirt headset heart long_hairsleeveless shirt twintails verv long hair wide sleeves highres 2girl, two bishojo snuggled up selfie, with white marble glowing skin and perfect symmetrical pretty face with blush cheeks and glaring eyes wearing a school uniform,golden hour lighting, strong rim light, intense shadowse , Ernst Thoms
输入反面标签：```
lowres, bad anatomy, bad hands, text,error, missing fngers,extra digt ,fewer digits,cropped, wort quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet
设置采样步长sampling step为28
配置CFG Scale为12
点击Generate