使用OpenAI GPT-4V多模态模型进行图像推理

最新推荐文章于 2024-09-23 14:24:34 发布

llzwxh888

最新推荐文章于 2024-09-23 14:24:34 发布

阅读量361

点赞数 4

文章标签： python 开发语言

本文链接：https://blog.csdn.net/ppoojjj/article/details/140282928

版权

在这篇文章中，我们将介绍如何使用OpenAI GPT-4V多模态LLM类/抽象进行图像理解和推理。

我们还展示了OpenAI GPT-4V LLM目前支持的几个功能：

完整（同步和异步）：用于单个提示和图像列表
聊天（同步和异步）：用于多个聊天消息
流式完整（同步和异步）：用于流式输出的完成
流式聊天（同步和异步）：用于流式输出的聊天

使用GPT-4V从URL理解图像

首先我们需要安装一些必要的库：

%pip install llama-index-multi-modal-llms-openai
!pip install openai matplotlib

然后将OpenAI API密钥保存在环境变量中：

import os

OPENAI_API_TOKEN = "请将你的OpenAI API密钥放在这里"
os.environ["OPENAI_API_TOKEN"] = OPENAI_API_TOKEN

初始化OpenAIMultiModal并从URL加载图像

from llama_index.multi_modal_llms.openai import OpenAIMultiModal
from llama_index.core.multi_modal_llms.generic_utils import load_image_urls

image_urls = [
    "https://res.cloudinary.com/hello-tickets/image/upload/c_limit,f_auto,q_auto,w_1920/v1640835927/o3pfl41q7m5bj8jardk0.jpg",
]

image_documents = load_image_urls(image_urls)

openai_mm_llm = OpenAIMultiModal(
    model="gpt-4-vision-preview",
    api_key=OPENAI_API_TOKEN,
    max_new_tokens=300
)

使用Python的PIL和Matplotlib库来展示图像：

from PIL import Image
import requests
from io import BytesIO
import matplotlib.pyplot as plt

img_response = requests.get(image_urls[0])
img = Image.open(BytesIO(img_response.content))
plt.imshow(img)
plt.show()

通过图像完成提示

complete_response = openai_mm_llm.complete(
    prompt="将这些图像描述为替代文本",
    image_documents=image_documents,
)

print(complete_response)

此时，模型将对图像生成描述，例如：

图像显示了罗马的斗兽场在夜晚被意大利国旗颜色照亮：绿色、白色和红色。古老的圆形剧场的多个拱门被鲜艳地照亮，与背景中的深蓝色天空形成鲜明对比。结构的底部似乎正在进行一些施工或修复工作，可以看到一些人在现场附近行走。

流式完成多个图像的提示

stream_complete_response = openai_mm_llm.stream_complete(
    prompt="给我更多关于这张图片的上下文",
    image_documents=image_documents,
)

for r in stream_complete_response:
    print(r.delta, end="")

图像聊天

from llama_index.core.multi_modal_llms.openai_utils import generate_openai_multi_modal_chat_message

chat_msg_1 = generate_openai_multi_modal_chat_message(
    prompt="将这些图像描述为替代文本",
    role="user",
    image_documents=image_documents,
)

chat_msg_2 = generate_openai_multi_modal_chat_message(
    prompt="这张图片是一张展示美国抵押贷款利率飙升的图表。它是一张数据的可视化展示，标题在顶部，x轴和y轴有标签。遗憾的是，在看不到图片的情况下，我无法提供有关数据或图表设计的具体细节。",
    role="assistant",
)

chat_msg_3 = generate_openai_multi_modal_chat_message(
    prompt="我能知道更多吗?",
    role="user",
)

chat_messages = [chat_msg_1, chat_msg_2, chat_msg_3]
chat_response = openai_mm_llm.chat(messages=chat_messages)

for msg in chat_messages:
    print(msg.role, msg.content)

print(chat_response)

通过本地文件理解图像

from llama_index.core import SimpleDirectoryReader

# 输入你的本地目录
image_documents = SimpleDirectoryReader("./images_wiki").load_data()

response = openai_mm_llm.complete(
    prompt="将这些图像描述为替代文本",
    image_documents=image_documents,
)

from PIL import Image
import matplotlib.pyplot as plt

img = Image.open("./images_wiki/3.jpg")
plt.imshow(img)
plt.show()

print(response)