使用Google Imagen在Langchain中实现AI图像生成与编辑

本文链接：https://blog.csdn.net/dgay_hua/article/details/146467244

技术背景介绍

在图像生成领域，Google的Imagen技术代表了最尖端的生成式AI能力。通过与Langchain集成，开发者可以利用Imagen提供的强大功能，在数秒内将用户的想象转化为高质量的视觉资产。这包括文本到图像生成、图像编辑、图像标注及视觉问答等功能。

核心原理解析

Google Imagen利用深度学习模型，通过分析文本描述生成与之对应的图像。它能够理解输入文本的语义信息并生成相应的图像。通过Langchain的API接口，开发者可以轻松调用这些功能进行图像生成和操作。

代码实现演示

以下是如何使用Langchain和Google Imagen进行图像生成、编辑、标注和视觉问答的代码示例。

图像生成

from langchain_core.messages import AIMessage, HumanMessage
from langchain_google_vertexai.vision_models import VertexAIImageGeneratorChat

# 创建图像生成模型对象
generator = VertexAIImageGeneratorChat()

# 提供文本输入以生成图像
messages = [HumanMessage(content=["a cat at the beach"])]
response = generator.invoke(messages)

# 获取生成的图像
generated_image = response.content[0]

import base64
import io
from PIL import Image

# 解析响应对象以获取图像的base64字符串
img_base64 = generated_image["image_url"]["url"].split(",")[-1]

# 将base64字符串转换为图像
img = Image.open(io.BytesIO(base64.decodebytes(bytes(img_base64, "utf-8"))))

# 显示图像
img

图像编辑

from langchain_core.messages import AIMessage, HumanMessage
from langchain_google_vertexai.vision_models import (
    VertexAIImageEditorChat,
    VertexAIImageGeneratorChat,
)

# 创建图像生成模型对象
generator = VertexAIImageGeneratorChat()

# 提供初始文本输入生成图像
messages = [HumanMessage(content=["a cat at the beach"])]
response = generator.invoke(messages)
generated_image = response.content[0]

# 创建图像编辑模型对象
editor = VertexAIImageEditorChat()

# 为编辑图像编写提示，并传递"generated_image"
messages = [HumanMessage(content=[generated_image, "a dog at the beach "])]

# 调用模型编辑图像
editor_response = editor.invoke(messages)

# 解析响应对象以获取编辑后的图像的base64字符串
edited_img_base64 = editor_response.content[0]["image_url"]["url"].split(",")[-1]

# 将base64字符串转换为图像
edited_img = Image.open(io.BytesIO(base64.decodebytes(bytes(edited_img_base64, "utf-8"))))

# 显示编辑后的图像
edited_img

图像标注

from langchain_google_vertexai import VertexAIImageCaptioning

# 初始化图像标注对象
model = VertexAIImageCaptioning()

# 使用生成的图像进行标注
img_base64 = generated_image["image_url"]["url"]
response = model.invoke(img_base64)
print(f"生成的标注: {response}")

# 将base64字符串转换为图像
img = Image.open(io.BytesIO(base64.decodebytes(bytes(img_base64.split(",")[-1], "utf-8"))))

# 显示图像
img

视觉问答

from langchain_google_vertexai import VertexAIVisualQnAChat

# 初始化视觉问答对象
model = VertexAIVisualQnAChat()

# 使用生成的图像进行视觉问答
question = "What animal is shown in the image?"
response = model.invoke(
    input=[
        HumanMessage(
            content=[
                {"type": "image_url", "image_url": {"url": img_base64}},
                question,
            ]
        )
    ]
)

print(f"问题: {question}\n答案: {response.content}")

# 将base64字符串转换为图像
img = Image.open(io.BytesIO(base64.decodebytes(bytes(img_base64.split(",")[-1], "utf-8"))))

# 显示图像
img