Q:最顶尖的AI技术到底离我们有多远?
A:三行Python代码的距离。
最近AI作画确实很火,在DALL-E和Imagen崭露头角之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出丰富多彩的AI作画作品。
ERNIE-ViLG效果
prompt:夕阳日落时,阳光落在云层上,海面波涛汹涌,风景,胶片感
prompt:巨大的纯白色城堡
Stable-Diffusion(SD)效果
prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus
prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art
prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation
Disco-Diffusion效果
prompt:在artstation上的一幅美丽的画,一个独特的灯塔,照耀着它的光穿过喧嚣的血海
由greg rutkowski和thomas Kinkade所作
prompt:在宁静的风景中画一幅美丽的建筑画
由Arthur Adams在artstation上所作
prompt:小桥流水人家
以上惊艳的文图生成效果,是通过PaddleHub三行Python代码实现的作品**:**
import paddlehub as hub
module = hub.Module(name="ernie_vilg")
results = module.generate_image(text_prompts=["巨大的白色城堡"])
以上ernie_vilg替换为stable_diffusion或disco_diffusion_ernievil_base即可轻松体验不同的文图生成模型,用户也可自定义修改text_prompts来获得不同的效果体验。
三行代码虽然简单,但是代码背后的文图生成模型可不简单,分别来源于现在文图生成领域最顶尖的开源成果:ERNIE-ViLG、Stable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL为例,DD扩散模型负责从初始噪声或者指定初始图像中来生成目标图像,ERNIE-ViL负责引导生成图像的语义和输入的文本的语义尽可能接近,随着扩散模型在ERNIE-ViL的引导下不断的迭代生成新图像,最终能够生成文本所描述内容的图像。这种惊艳的效果,在PaddleHub这里只需要三行代码即可体验。也可以通过huggingface的ERNIE-ViLG空间体验,如图:
点击阅读原文获得链接
★ 欢迎Star关注 ★
https://github.com/PaddlePaddle/PaddleHub
PaddleHub 最新升级
PaddleHub中除了AI作画之外,还有更多丰富模型宝藏。本次2.3.0版本更新,新增了包括文心大模型在内的40+模型,累计预训练模型数量已经超过400个,包括大模型、CV、NLP、语音、工业应用等大量优质模型。
目前累计star数量已超过8.3K,频频登上Github Trending日榜月榜,used by 800+,还有不少小伙伴频频贡献,也是深受开发者喜爱。
简介与特性
PaddleHub旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。
- 特性一:模型种类丰富
涵盖大模型、CV、NLP、Audio、Video、工业应用主流六大品类的400+预训练模型,全部开源下载,离线可运行
- **特性二:**超低使用门槛
无需深度学习背景、无需数据与训练过程,可快速使用AI模型
- 特性三:一键模型快速预测
通过一行命令行或者极简的Python API实现模型调用,可快速体验模型效果
- 特性四:一键模型转服务化
一行命令,搭建深度学习模型API服务化部署能力
- 特性五:十行代码迁移学习
十行代码完成图片分类、文本分类的迁移学习任务
- 特性六:跨平台兼容性
可运行于Linux、Windows、MacOS等多种操作系统
图像领域
包括图像分类、人脸检测、口罩检测、车辆检测、关键点检测、人像分割、语言文本识别、图像超分/上色/动漫化等任务模型,实现效果见下图。
文本领域
包括中文分词、词性标注、句法分析、AI写诗/对联/情话/藏头诗、情感分析、文本审核、机器翻译、同声传译等
语音领域
支持语音识别、语音合成、声音分类和声音克隆
- 语音识别效果如下:
Input Audio:
音频1 音频: 进度条 00:00 00:04 后退15秒 倍速 快进15秒
Recognition Result:我认为跑步最重要的就是给我带来了身体健康。
- 合成效果如下:
输入:Life was like a box of chocolates, you never know what you’re gonna get.
音频2 音频: 进度条 00:00 00:04 后退15秒 倍速 快进15秒
轻松服务化部署
400+模型除了可以一键预测,还支持一键服务化部署。PaddleHub Serving可以部署一个在线文图生成服务。
- 第一步:启动PaddleHub Serving
运行启动命令:
$ hub serving start -m ernie_vilg
这样就完成了一个文图生成的在线服务API的部署,默认端口号为8866。
NOTE: 如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
- 第二步:发送预测请求
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果。
import requests
import json
import cv2
import base64
from io import BytesIO
from PIL import Image
# 发送HTTP请求
data = {'text_prompts': '巨大的白色城堡'}
headers = {"Content-type": "application/json"}
url = "http://127.0.0.1:8866/predict/ernie_vilg"
r = requests.post(url=url, headers=headers, data=json.dumps(data))
# 获取返回结果
for i, result in enumerate(r.json()["results"]):
image = Image.open(BytesIO(base64.b64decode(result)))
image.save('result_{}.png'.format(i))
致谢开发者
★ 欢迎Star关注 ★
https://github.com/PaddlePaddle/PaddleHub
加入PaddleHub
技术交流群
- 入群福利
1. 社区开发者充分技术沟通交流,组队参加各种创意赛事
2. 获取PaddleHub优质项目合集,获取预训练模型发布最新资讯
注释:当前体验服务生成的所有内容都是由人工智能模型生成,我们对其生成内容的准确性、完整性和功能性不做任何保证,并且其生成的内容不代表我们的态度或观点。我们的服务来自于法律法规允许的包括但不限于公开互联网等信息积累,并已经过不断的自动及人工敏感数据过滤,但仍不排除其中部分信息具有瑕疵、不合理或引发不快。
引用
- -ERNIE-ViLG ERNIE-VILG:UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION
https://arxiv.org/pdf/2112.15283.pdf
- -Sttable Diffusion [High-Resolution Image Synthesis with Latent Diffusion Models]
https://arxiv.org/abs/2112.10752
- -Disco Diffusion [Diffusion Models Beat GANs on Image Synthesis]
https://arxiv.org/abs/2105.05233
相关地址
-
飞桨官网:https://www.paddlepaddle.org.cn/
-
文心官网:https://wenxin.baidu.com/
-
GitHub地址:https://github.com/PaddlePaddle/PaddleHub
-
Gitee地址:https://gitee.com/PaddlePaddle/PaddleHub
-
PaddleHub大模型体验教程https://aistudio.baidu.com/aistudio/projectdetail/4462918?ad-from=PaddleHub
-
Huggingface体验地址:https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG
-
更多模型检索:https://www.paddlepaddle.org.cn/hublist
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~