在上篇中,我们探讨了构建RAG应用中常面临的两个问题:如何提高语义检索的精度以及实现多轮对话中上下文理解的检索。本文接着探讨另一个常见的也是比较复杂的问题:
- 如何对多模态文档,特别是其中的图片内容进行嵌入、检索与引用?
我们将基于Google最新的Gemini多模态模型作简单实现与测试。
01 需要处理的图片
在构建基于大模型的RAG应用时,通常需要从大量的文档中导入私有知识,需要对其中的内容进行分割、嵌入与索引,从而能够在响应用户输入时检索到需要引用的关联知识。
棘手的是,我们在处理这些文档时,往往面临的是一个混合了多种内容形式的文档,其中对于文本类型的内容处理相对简单,不管是纯文本,还是Markdown或者HTML;而相对复杂的是图片内容,如果没有完善的处理方案,那么就会丢失图片中的有价值信息。
需要强调的是,并不是所有的文档中涉及的图片都需要处理。通常来说,在RAG应用中需要做深度处理的图片指的是:**包含了可能会被检索与参考到的知识信息的图片。**比如:
-
一个包含了产品详细操作说明的示意图
-
一个反映了数据分析结果的可视化图表
-
一个与竞争对手产品对比的表格图片等
一个包含有用信息的图片
**文档中一些仅用于参考的图片或者无关的装饰图则无需进行RAG相关处理(**注意这一类图片只是不需要进行类似嵌入与语义检索的操作,但仍然有可能需要在大模型响应时输出,如包含在输出的Markdonw内容中)。比如:
-
一个已经有了文字说明的操作手册中的界面截图
-
一些不包含有用知识的装饰型图片
-
一个无需处理的参考图片
02【图片RAG处理方案】
多模态的混合文档处理的总体方案,我们在之前文章中结合了Langchain开发框架做过介绍(点击阅读:GPT4-V之前:企业私有知识库中半结构化与多模态数据的RAG方案思考)。我们在此做简单总结:
图片来自LangChain Cookbook
忽略掉其中对文本内容(Text)的处理,这里展示了三种具有代表性且复杂性有区别的图片(Image)处理方法,我们对这里的三种方法做简单剖析以帮助我们更好的选择与实现:
方法1
-
嵌入:直接嵌入图片,需要借助特殊的图片嵌入模型
-
检索:直接根据用户问题语义检索出原图片即可
-
引用:借助多模态大模型(GPT-4v/Gemini等),输入检索出的图片
方法1的特点是**直接对图片嵌入。**其特殊性在于需要借助多模态的embedding模型(如OpenClip)以及支持多模态的向量库(如Chroma),由于不需要生成图片的摘要信息,因此简化了嵌入的过程;但同时也引入了多模态嵌入与检索过程的复杂性
方法2
-
嵌入:嵌入图片摘要信息(Summary),需借助多模态模型先生成摘要
-
检索:通过用户问题检索出图片摘要信息文本
-
引用:将检索的摘要信息作为上下文输入大模型获得响应
方法2是一种最简单也是效果相对较差的方法。简单的说就是在嵌入时把图片转成图片的摘要文本,后续的检索与引用都基于该文本处理。由于摘要可能隐藏了图片的大量真实细节信息,可能会导致回答效果较差。一种简单优化的方法是在生成摘要文本的时候,要求尽量细节化(借助多模态大模型)。
方法3
-
嵌入:嵌入图片摘要信息(Summary),需借助多模态模型先生成摘要
-
检索:通过用户问题关联检索出图片摘要信息与原始图片
-
引用:借助多模态大模型(GPT-4v/Gemini等),输入检索出的原图
**推荐的一种方法。**其嵌入的对象是生成的图片摘要文本信息,因此只需要普通的文本embedding模型即可;但是在检索时会通过元数据关联获取到原始图片,进而引用原始图片,并借助多模态大模型响应用户输入。
03 基于Gemini模型的实现
Google最新推出的Gemini模型支持多模态,且当前的API还处于免费调用阶段,非常适合研究与测试。所以这里我们借助于最新的Google的Gemini Pro模型来简单实现与测试方法3中的过程。为了更好的关注重点,这里忽略了从原始文档比如PDF提取图片的过程(可参考之前的文章),我们假设提取的图片已经存放在本地目录中,其中包含三张测试图片:
基本的处理过程如下:
-
生成图片摘要信息
-
对图片摘要进行嵌入与关联存储
-
输入用户问题检索,并输入大模型获得响应
1. 生成****图片摘要:首先将原始图片转为base64格式,并通过多模态模型生成摘要信息即可。这个处理过程比较简单,只需要利用提示词即可完成。下面是一个生成某个图片摘要的参考代码(仅列出关键过程)
"""
对单一图片生成摘要文本信息,借助google gemini多模态模型
"""
def image_summarize(img_path):
#模型
model = ChatVertexAI(model_name="gemini-pro-vision",
max_output_tokens=1024,project="my-ai-assistant")
#提示
prompt = """你是一位负责为检索任务总结图像的助手。这些总结将被嵌入并用于检索原始图像。给出一个简洁的、针对检索优化的图像总结。"""
#图片转为encode格式
img_base64=encode_image(img_path)
msg = model(
[
HumanMessage(
content=[
{"type": "text", "text": prompt},
{
"type": "image_url",
"image_url":{"url":f"data:image/jpeg;base64,{img_base64}"},
},
]
)
]
)
我们来看看生成的摘要效果:
2. 嵌入与向量存储:在生成图片摘要后,需要对生成的图片摘要信息作嵌入,借助于嵌入模型,可以轻松的完成这个任务。但是这里有一个问题:
由于后续我们需要在检索(retrieve)的时候关联获取到原始图片,因此在嵌入并存储到向量库时,要建立一个图片摘要与原始图片之间的映射关系,这可以简单的通过一个doc_id来实现关联。
我们推荐使用Langchain中的多向量检索器(MultiVectorRetriever),可以很方便建立这种映射关系,并且在检索时自动关联取出原始图片。
多向量检索也是我们在上篇中介绍的RAG应用中提高文本知识语义检索精度的一种重要方案。
下面展示对图片摘要进行嵌入与存储,并关联原始图片的处理过程:
"""
对图片摘要images_summaries作嵌入,并关联原始图片images
传入图片摘要列表与图片列表
"""
def create_images_retriever(image_summaries, images):
#向量存储:用来存放图片摘要的向量(chroma)
vectorstore = Chroma(collection_name="google_test",embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest",project="my-ai-assistant"))
#普通存储:用来存放原始图片(base64)
store = InMemoryStore()
#两者之间通过doc_id关联
id_key = "doc_id"
#创建一个多向量检索器,关联到以上存储
retriever = MultiVectorRetriever(
vectorstore=vectorstore,
docstore=store,
id_key=id_key,
)
#对每个图片创建doc_id
doc_ids = [str(uuid.uuid4()) for _ in images]
#将图片摘要嵌入到vectorstore,注意元数据为doc_id
summary_docs = [Document(page_content=s, metadata={id_key: doc_ids[i]}) for i, s in enumerate(image_summaries)]
retriever.vectorstore.add_documents(summary_docs)
#将原始图片存放到普通内存存储,注意将doc_id与图片关联
retriever.docstore.mset(list(zip(doc_ids,images)))
#后续将用此retriever进行检索
return retriever
3. 语义检索并引用: 在完成上述“准备工作”后,接下来就可以接受用户输入。根据用户的输入进行关联图片的检索,然后把图片作为参考的上下文,与用户输入问题一起交给多模态大模型,等待响应即可。
使用上面返回的多向量retriever检索器,则过程会变得非常简单,我们建立一个简单的LangChain中的链,来自动的完成这个过程:语义检索->图片提取->Prompt组装->大模型输出这个过程。处理过程如下(使用gemini-pro-vision多模态大模型):
# 创建用来回答问题的多模态大模型:gemini-pro-vision
model = ChatVertexAI(temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024,project="my-ai-assistant")
#创建一个langchain的处理链
#此处传入的参数:
#retriever:上文创建的检索器
#split_image_text_type: 这是一个把检索出来的文档区分成普通文本与图片的方法
#img_prompt_func: 这是一个把上面的context,question等组装成prompt的方法
chain = (
{
"context":retriever | RunnableLambda(split_image_text_types),
"question": RunnablePassthrough(),
}
| RunnableLambda(img_prompt_func)
| model
| StrOutputParser()
)
#获得输入
query = input("请输入你的问题:")
#调用获得结果
result=chain.invoke(query)
可以看到借助Langchain,可以简洁优雅的完成整个过程(当然,完全可以自主实现)。这里面涉及到两个辅助方法:
一个是split_image_text_types:之所以有这样的过程,是由于在实际处理时,如果把图片摘要与普通文本知识一起做嵌入时,那么检索出来的参考知识就会混合图片(base64)与文本内容,由于两种类型的内容在交给大模型时处理方式不同,因此需要在此区分,并用于后续处理,可借助base64工具库完成。
另外一个是img_prompt_func: 这是将检索出的关联内容(文本内容或者图片内容)、用户问题一起组装成Prompt的方法;一般只要根据你所使用的多模态模型的API规范进行封装即可。比如:
#本方法用来组装prompt消息
#注意输入为上文chain中的第一个参数
#包含了用户问题question与context,context包含了语义检索出的、拆分后的普通文本内容与图片内容
messages = []
#引用的普通文本内容
context_texts = "\n".join(data_dict["context"]["texts"])
#将用户问题与需要引用的普通文本内容作为上下文包装成文本消息
text_message = {"type": "text","text": ("你是一名聪明的AI问答助手,你会根据提供给你的文本、表格、图片(通常为图表或者带有文字的图片),来智能的回答用户问题。如果无法根据提供的信息回答问题,请回答'我暂时无法理解你的问题',不要编造答案。\n"
f"用户问题是: {data_dict['question']}\n\n"
"文本信息如下:\n"
f"{context_texts}"
),
}
messages.append(text_message)
#将需要引用的图片内容包装成图片消息
for image in data_dict["context"]["images"]:
image_message = {"type": "image_url","image_url":{"url": f"data:image/jpeg;base64,{image}"}}
messages.append(image_message)
#OK,现在messages发送给大模型即可!
现在,我们来看下测试结果:
Gemini模型很好的回答了我们的问题。对比上文的第一个测试图片,也证实了这个图片被检索了出来,并且传给了大模型做输出参考。
04 结束语
以上简单介绍了针对包含知识内容的图片,如何在RAG应用中进行嵌入、检索与生成。实际应用中,还可以根据需要在以下两个方面做优化:
-
图片的摘要信息生成可以根据用户问题做优化以提交检索精度。比如生成更详细的信息以覆盖更多语义、或者利用大模型生成一些假设性的问题等。
-
注意多模态大模型的选择。实际测试中我们发现目前多模态大模型(比如Gpt-4v/Gemini)在图片文字内容识别、特别是中文识别时仍然存在一定的不完善,从而导致回答错误。
在下篇中我们将探讨如何基于开源框架评估RAG应用的效果。
最后的最后
感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。
因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/30e9719c1eb9e16c9f57d034f26043c8.jpeg)
大模型知识脑图
为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
经典书籍阅读
阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/30e9719c1eb9e16c9f57d034f26043c8.jpeg)