开发者实战 | AI作画,OpenVINO™助你在英特尔GPU上随心创作

9152ccd1f95ac83f0ad7340c65a067d3.gif

文章作者:武卓

133053dc100c4836b364133329d4f96f.gif

最近,AIGC(即AI Generated Content,是指利用人工智能技术来生成内容)真的是火出了天际。除了被挤到服务器满负荷的 ChatGPT,另一个也颇受瞩目的领域当属 AI 作画了。利用开源的一类“扩散(diffusion)”模型,你可以随时用 AI 进行绘画创作。这么火爆的扩散模型,我们的 OpenVINO™ 当然也是可以对它进行优化,并在英特尔® GPU 上进行画作生成加速!

具体怎么操作呢?全部的代码我们仍然开源在 OpenVINO Notebooks 仓库中,具体可参考:

https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image

那么接下来,我们就为大家划划重点,一起来看看有哪些重要的步骤、以及生成的画作效果如何吧!

5b95112200eb7fbd4078d108b1203edf.png

5eded94313c9fa38d64b8c71ed67d67f.png

9a8a1594a6dc6c0d8d75048c64389ec1.png

左右滑动查看更多

下图为基于 OpenVINO Notebooks 和英特尔® 锐炫™ A770m 的平台上,通过“Stable Diffusion”模型文本转图像功能生成的结果。

除了由文本生成图像进行 AI 作画,我们的代码示例还包括了图像转图像示例,可以将照片转为水彩画。

06429f6f1907f0e557e2c0a6463412a6.jpeg

f917b5614fb30d5625b88754e1d739ab.png

左右滑动查看更多

看完了以上的 AI 作画的结果,你有没有心动、想自己动手试试呢?接下来,跟着我们掌握以下步骤,就能在自己的机器上运行这个 Stable Diffusion 的 notebook 代码示例了!

342a8de3f83fb1a80cc37af795cba5c3.gif

首先,这是 OpenVINO Notebooks 的仓库。它具有您今天完成演示所需要的一切:

openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooks

地址:

https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks

如果您希望只启动一个 notebook,如 Monodepth notebook,请运行以下命令。在浏览器中,选择 github.com:

4633456259faece4b5b63667775b7351.png

Stable Diffusion 位于 225-stable-diffusion-text-to-image  文件夹下

在 notebook 代码示例中,我们不仅介绍了著名的文本转图像管道,还加入了图像转图像生成管道。但它的真正意义是什么?我们如何运行它?

86e7677e71885bd97af06e7512639846.png

管道

485c38c015e11b0b00ec2622b4112b51.gif

如何安装?

如需安装 OpenVINO Notebooks,您可参照此处的说明(适用于 Windows):

https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows

如果您是 Linux 用户,可点击此链接:

https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu

总体而言,您可实施以下几步:

安装 Python 3.10.x。(或下方内容)并创建一个虚拟环境

python3 -m venv openvino_env
source openvino_env/bin/activate #for linux

向右滑动查看完整代码

对目录实施 Git 克隆

git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks

向右滑动查看完整代码

安装所有的库和依赖项

pip install -r requirements.txt

运行 Jupyter Notebook

jupyter lab notebooks

32029eac781733fc94e53a2d08cc6584.png

运行所有单元格并等待

现在,查看代码。我们切实地优化 PyTorch 管道,并使用 OpenVINO 执行代码。

3e0f742e2642bd1665aec1124fd0d2f7.png

首次下载和转换可能需要一点时间。完成之后,您将得到一组 IR 文件。为了方便,我已在这里将这些预训练的优化模型更新到 huggingface,大家可以直接下载使用:

https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino

2f58d7b23284253a8923e33cfc170bd0.png

bes-dev/stable-diffusion-v1-4-openvino at main

我们正通过开源和开放科学推动人工智能的发展和普及。

现在,如果您有幸使用英特尔® 锐炫™ 独立显卡,您便可将下图中设备名称的代码改为“GPU”。默认情况下,它使用“ AUTO”,并会自动切换至检测到的 GPU。

7131d7956348c37e5c899af4cbe081dd.png

让它在 GPU 上运行

28497bceb8dc143f273cbb58b2b21a28.png

自动插件。它先使用 CPU,然后自动切换至 GPU。

在这一步中,我把步骤设置为 30。理想情况下,我将使用 50,以提供最好看的结果。通过修改输入文本,您可以在这里生成不同的场景。如果想得到非常酷的图像,您可以试试社区整理的一些实用提示:

https://mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/

4e42344712937732f4336706eda439b4.png

最后,我们还生成了 GIF 文件,以便您可视化展示各步骤的情况。

fedfecd9236b4b7ebeefd29306655f07.png

567b0e253f4ea0870937385bfdb882f9.gif

最终结果。

cb509e13d6cb44704d71146ee89fec83.gif

图像转图像管道

现在,如果继续运行 notebook,您会看到我们也可以使用提示来“影响”最终图像的显示效果。我们在此处提供了一个将照片转换为水彩画的示例。

6f48af487ee08163011ad16c2ee95fbc.png

outside_default.png

根据初始图像和提示生成图像。这样可得出基于指导的结果。

d0e9c938174f0ddad78c3392b995415f.jpeg

83d801582f1d1bbaf58719cd79201c17.jpeg

左右滑动查看更多

图像转图像结果。

17ef38413ff018cf181c89f233efb67c.gif

结论

当下,如果您想了解“Stable Diffusion”的工作原理,以及英特尔硬件的加速方式,OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果,请在这里或通过我们的 GitHub 讨论板发表评论:

https://github.com/openvinotoolkit/openvino_notebooks/discussions#iamintel

祝编码快乐!

--END--

你也许想了解(点击蓝字查看)⬇️➡️‍ 以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC‍
➡️ 还不知道如何用OpenVINO™作画?点击了解教程。➡️ 如何给开源项目做贡献? | 开发者节日福利➡️ 几行代码轻松实现对于PaddleOCR的实时推理,快来get!➡️ 使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理➡️ 图片提取文字很神奇?试试三步实现OCR!➡️【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务➡️使用OpenVINO™ 预处理API进一步提升YOLOv5推理性能

👇欢迎在留言区与我们互动哦,

点击小程序 留言区 即可参与

留言区

扫描下方二维码立即体验 
OpenVINO™ 工具套件 2022.3

点击 阅读原文 立即体验OpenVINO 2022.3

7e2b4cd0efb3a8519f3a6004380bed33.png

文章这么精彩,你有没有“在看”

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值