LangChain入门：5.使用图像字幕生成工具为图片增添主题描述

本文链接：https://blog.csdn.net/wangjiansui/article/details/137115217

在本篇LangChain教程中，我们将探索如何利用LangChain和图像字幕生成工具为图片添加主题内容。这个任务是在图像处理和自然语言处理领域结合应用的典型案例之一。我们将使用LangChain的代理功能，通过调用图像字幕生成工具，实现为图片增添主题描述的目标。

1. 准备步骤

在开始之前，请确保您已经按照以下步骤安装了所需的库和工具：

更新LangChain到最新版本
安装HuggingFace的Transformers库、Pillow和PyTorch

pip install --upgrade langchain
pip install transformers
pip install pillow
pip install torch torchvision torchaudio

2. 初始化图像字幕生成模型

首先，我们需要初始化图像字幕生成模型。我们将使用HuggingFace提供的Blip模型，它在图像字幕生成领域表现出色。

import os
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

# 初始化图像字幕生成模型
hf_model = "Salesforce/blip-image-captioning-large"
processor = BlipProcessor.from_pretrained(hf_model)
model = BlipForConditionalGeneration.from_pretrained(hf_model)

3. 定义图像字幕生成工具类

接下来，我们定义一个图像字幕生成工具类，用于处理图片并生成描述。这个工具类将在LangChain代理中被调用。

from langchain.tools import BaseTool
# 定义图像字幕生成工具类
class ImageCapTool(BaseTool):
    name = "Image captioner"
    description = "为图片添加主题内容."

    def _run(self, url: str):
        # 下载图像并转换为PIL对象
        image = Image.open(requests.get(url, stream=True).raw).convert('RGB')
        # 使用预处理器处理图像
        inputs = processor(image, return_tensors="pt")
        # 使用模型生成图像字幕
        out = model.generate(**inputs, max_new_tokens=20)
        # 解码生成的字幕
        caption = processor.decode(out[0], skip_special_tokens=True)
        return caption

4. 初始化并运行LangChain智能代理

现在，我们将使用LangChain的代理功能，初始化智能代理并调用图像字幕生成工具为图片添加主题描述。

from langchain import OpenAI
from langchain.agents import initialize_agent, AgentType

# 设置OpenAI的API密钥
os.environ["OPENAI_API_KEY"] = '你的OpenAI API Key'
# 初始化OpenAI对象
llm = OpenAI(
	api_key='你的OpenAI API Key',
    base_url='https://api.chatanywhere.tech/v1',
    temperature=0.2)

# 初始化智能代理并运行
tools = [ImageCapTool()]
agent = initialize_agent(
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    tools=tools,
    llm=llm,
    verbose=True,
)

# 输入图片URL，请求添加主题内容
img_url = 'https://example.com/your-image.jpg'
agent.invoke(input=f"{img_url}\n请为该图片添加合适的主题内容")