作者丨林大佬@知乎 编辑丨极市平台
来源丨https://zhuanlan.zhihu.com/p/561181890
最近stablediffusion大火,但很多人都只是吃瓜,最多也就是在huggingface网站上试一下,这其实并不够,作为一个富有商业嗅觉的AI从业者,我嗅探到的更多的是他的商业能力,不得不说,现在生成类的AI模型,已经越来越来接近甚至超越人类水平。
今天就来一探究竟,看看StableFusion到底能做啥?并附上这个 超级大模型的int8量化教程,以及ONNX导出,甚至是TensorRT加速推理。
请注意,一下的所有测试案例,都是我用CPU跑出来的,你要问我多慢?通过CPU OpenVINO加速也就3分钟推理。为什么不用GPU?因为显存不足!
好在我们用CPU也能比较完善的推理,结果并不差。未来我们还会继续使用TensorRT推理,加速整个推理流程。更进一步的将StableDiffusion变成生产力工具!
代码
这次我们直接先上代码,这里面包含了CPU下推理StableDiffusion,以及OpenVINO加速的代码,同时,也包含了量化脚本,感觉兴趣的可以再github提issue。
git clone https://github.com/luohao123/gaintmodels
备注:代码来自大佬,不是本人写的。不过有问题欢迎提问交流。
测试StableDiffusion
来看看生成的效果,由于模型只能编码英文,我们就以英文作为promopt。
A green car with appearance of Tesla Model 3 and Porsche 911
![98a602ab2050cecf630815a4912ac938.jpeg](https://i-blog.csdnimg.cn/blog_migrate/66925779b5c2a2d92f4df2e0bbb78e37.jpeg)
这长得还真的就像是,保时捷和model3的合体!中间那个logo你注意看,感觉并不是特斯拉的logo!有点像保时捷的logo!~
A robot Elon Musk in cyberpunk, driving on a Tesla Model X
![5da6296c8b6ef77854de5b36619150d0.jpeg](https://i-blog.csdnimg.cn/blog_migrate/ba647ab600474b27a97624d2a0d6e551.jpeg)
ModelX倒是有点像,但是马斯克人呢??
StableDiffusion这类模型,似乎在生成风景画上表现不错
A beautiful mansion beside a lake in the woods, with a clean road front of it.
一栋湖边的别墅
![eae023805fd4956fa6f6ff0157bb04ad.jpeg](https://i-blog.csdnimg.cn/blog_migrate/3a50cb8cf830fc934460ca6f1084ad9e.jpeg)
A beautiful castle beside a waterfall in the woods, detailed, 4k
瀑布旁边的城堡
![46b159c91d08434579481cc83c5e8faa.jpeg](https://i-blog.csdnimg.cn/blog_migrate/ee4d519c0071813e9ab38aad7f306e2d.jpeg)
真的是非常的优美!而且细节清晰可见!!
接下来我们测试一下,一些NSFW的内容,请注意,高能预警,我们的模型把huggingface的SaftyChecker去掉了,为什么?因为我们并不需要!并且这个模块是会占用很多内存的!
A beautiful sexy girl with red hair, 4k, detailed, without any cloth.
![5fdf3585cd2dc543eaca6aa397548173.jpeg](https://i-blog.csdnimg.cn/blog_migrate/5f818f1a4c0e0c1ef51dd1d277a476ce.png)
由于你懂得原因,我只截取了一部分!!但是,这个生成的效果真的令人震惊!过于真实!!
再来测试一些创造性的东西:
A advanced spaceship with Elon Musk driving on it, detailed, in reality style
![91f4acdd1a13f29410cbce7be426f5a0.jpeg](https://i-blog.csdnimg.cn/blog_migrate/f3f48cc1381794edfb341a659d5a4834.jpeg)
这个非常设计的,地区非常的逼真!看这个反光,这个倒影,以及上面的mount,甚至有种自动驾驶飞船的感觉。
A red tv in front of sofa, a child is looking at it with a dog.
![23fa7368e8b4d804dd2e40765afbafa3.jpeg](https://i-blog.csdnimg.cn/blog_migrate/7400929b589157109a0886ccb1a22c8c.jpeg)
在比如这个图片,这个真实度简直超乎了我的预料,电视机里面甚至还可以看到倒影!!
代码讲解
Experiements on testing GaintModels such as GPT3, StableFusion. We offer TensorRT && Int8 quantization on those gaint models. Make you can inference on a 6GB below GPU mem card!
Install
Some requirements to install:
pip install diffusers
pip install transformers
pip install alfred-py
Models
StableFusion:
First, we need download stablefusion weights from hugging face.
git clone https://huggingface.co/CompVis/stable-diffusion-v1-4
git lfs install
cd stable-diffusion-v1-4
git lfs pull
You should downloading weights using git lfs large file system, the model about 3GB.
To make unet_2d_condition in stablefusion able to export to onnx, make some modification on diffusers, following: link
file: diffuers/models/unet_2d_conditions.py
# L137
timesteps = timesteps.broadcast_to(sample.shape[0])
#timesteps = timesteps.broadcast_to(sample.shape[0])
timesteps = timesteps * torch.ones(sample.shape[0])
output = {"sample": sample}
#output = {"sample": sample}
return output
return sample
After that, move stable-diffusion-v1-4 to weights folder. Run:
python export_df_onnx.py
To generate onnx models.
总结
生成模型在之前效果其实并不好,但是到如今,大模型已经展示出了惊人的能力。不管是创作还是设计logo,从某种方面来说可能甚至是超过常人的。然而大模型都非常大,门槛比较高,我们将StableDiffusion 降维到int8,你甚至只需要一个CPU就能推理!
这里面还有无数种可能等待大家来探索,欢迎关注、点赞文章,更多教程更新中。
猜您喜欢:
附下载 |《TensorFlow 2.0 深度学习算法实战》