让 AI 看懂 PPT 图表！RAG 系统从 60 分到 95 分的进化历程，LlamaParse 与多模态实战深度解析

最新推荐文章于 2025-05-16 14:05:46 发布

AGI大模型资料分享员

最新推荐文章于 2025-05-16 14:05:46 发布

阅读量816

点赞数 21

文章标签：人工智能 powerpoint 大模型搜索引擎云原生开源 RAG

本文链接：https://blog.csdn.net/m0_48891301/article/details/147977112

版权

1、背景信息

近期前线人员反馈，在使用问答系统处理PPT文件时回答效果不佳。经查发现，用户上传的PPT内容多为图文混排形式，包含大量图像和统计图表。用户提问主要聚焦于图表数据及其相互关系。

我这里随意在网上找了一个PPT做尝试，这个PPT有一张图如下所示：

提问：“2017年大数据开发人数比2016年增加了还是减少了，具体增加或减少了多少人？”

系统返回：

根据提供的资源数据，2017年大数据开发职位的招聘人数大幅增加。具体来说，2016年大数据开发的招聘人数为5,667人，而2017年则增加到41,831人。因此，2017年大数据开发职位比2016年增加了36,164人 (41,831 - 5,667 = 36,164)。

从图片我们可以看出明显存在回答错误的问题。

2、问题分析

目前使用的LangChain UnstructuredPowerPointLoader在解析PPT时存在以下不足：

对图文混排内容处理能力弱
图表数据提取不准确
语义信息丢失严重

PPT文档特性

非结构化布局：没有固定格式，图文表混排
视觉化表达：大量使用图表而非纯文本传递信息
天然分块：每页幻灯片构成独立的知识单元

传统文本提取+RAG的处理方式会丢失视觉元素中的语义信息，这正是当前系统效果不佳的主因。

3、解决方案

随着现在多模态大模型的效果越来越强，我们就可以使用LVM来解决这类问题。既然仅仅参考从图片识别出的文本回答不是很准确，那么我们可不可以考虑使用文本+原始图片的方式送给LVM来回答呢？

首先借助LVM对PPT进行解析，可以解析出每页幻灯片对应的文本和图片，我们把文本进行embedding作为召回，在检索的时候把检索到的文本和关联的图片一起送给大模型用于生成。

4、 LlamaParse

为了方便演示，这里对PPT进行解析成文本和图片我使用的工具是LlamaParse。免费用户每天有1k页的额度，够我们日常测试使用。

首先注册账号并登录https://cloud.llamaindex.ai，然后打开LVM功能

接着申请项目对应的API key 就可以用来测试了，我们可以通过对应的api 来获取每页幻灯片的文本内容并下载每页图片到本地。

LlamaParse是LlamaCloud的一部分，是一个GenAI原生文档解析器，可以为任何下游LLM用例（RAG、代理）解析复杂的文档数据。

os.environ["LLAMA_CLOUD_API_KEY"] = "xxx"

parser = LlamaParse(
        result_type="json",
        use_vendor_multimodal_model=True,
        vendor_multimodal_model_name="gemini-2.0-flash-001",
        language="ch_sim"
    )
md_result = parser.get_json_result(file_path)
doc_id = md_result[0]["job_id"]
pages = md_result[0]["pages"]
# 下载图片到本地
parser.get_images(md_result, download_path="data_images")

5、如何索引

原文档的每一页PPT转为图片，并借助多模态模型解析成每一页的Markdown文本
将每一页的Markdown文本块作为一个Chunk，并根据页码与页面图片关联起来（存储base64编码/云路径/本地路径）。这样，在检索时可以根据文本块找到对应的图片
嵌入这些文本Chunks，并将它们存储在向量库中

dataset = []
docs = []
base64_map = {}
for page in pages:
    md = page["md"]
    page_number = page["page"]

    # 查找并上传对应页码的图片
    local_image_path = find_image_by_page(
        "data_images", doc_id, page_number)
    with open(local_image_path, "rb") as image_file:
        image_base64 = base64.b64encode(image_file.read()).decode('utf-8')

    # 添加到dataset
    dataset.append({
        'content': md,
        'image_base64': image_base64,
        'page_number': page_number
    })
    docs.append(
        Document(
            page_content=md,
            metadata={
                "page_number": page_number,
            })
    )
    base64_map[page_number] = image_base64
    
vectorstore = Milvus.from_documents(
    documents=docs,
    embedding=embeddings,
    connection_args={"host": "127.0.0.1", "port": "19530"},
    drop_old=True,  # Drop the old Milvus collection if it exists
    collection_name="collection_ppt",
)

6、检索和生成

从向量库检索关联的块，也就是前面对应到PPT页面的生成文本
根据这些块中的元数据，找到对应的页面截图base64
将文本块组装成Prompt，与找到的图片的base64一起输入多模态模型，等待响应

dat = vectorstore.similarity_search(query=question, k=5)

image_base64_list = []
chunk = []
for doc in dat:
    page_number = doc.metadata["page_number"]
    print(page_number)
    image_base64 = base64_map.get(page_number)
    if image_base64:
        image_base64_list.append(image_base64)
        chunk.append(doc.page_content)
        
openai_api_key = os.environ["OPENAI_API_KEY"]  # 替换为你的 OpenAI API Key
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {openai_api_key}"
}

# 构建 messages 内容
messages_content = [
    {"type": "text", "text": """The following is the Markdown text and image information parsed in the slide. Markdown text has attempted to convert the relevant charts into tables. Give priority to using picture information to answer questions. Use Markdown text information only when the image cannot be understood.
 
Here is the context:
---------
{context}
---------

Question: {question}
""".format(context="\n".join(chunk), question=question)}
]

if image_base64_list:
    # 添加所有检索到的图片
    for img_base64 in image_base64_list:
        messages_content.append({
            "type": "image_url",
            "image_url": {
                "url": f"data:image/jpeg;base64,{img_base64}"
            }
        })

payload = {
    "model": "gpt-4.1",
    "messages": [
        {
            "role": "user",
            "content": messages_content
        }
    ],
    "temperature": 0.1,
    "max_tokens": 1000# 根据需要调整
}

# 发送请求到 OpenAI API
try:
    response = requests.post(
        "https://api.openai-proxy.com/v1/chat/completions",
        headers=headers,
        json=payload
    )
    response.raise_for_status()  # 检查请求是否成功

    # 解析并打印结果
    result = response.json()
    print("OpenAI 分析结果:")
    print(result["choices"][0]["message"]["content"])

except requests.exceptions.RequestException as e:
    print(f"请求 OpenAI API 失败: {e}")
    if hasattr(e, 'response') and e.response:
        print(f"错误详情: {e.response.text}")

当我们执行query:

2017年大数据开发人数比2016年增加了还是减少了, 具体增加或者减少了多少人?

返回的结果就是正确的了：

7、总结和优化

在测试验证过程中，我们发现当前方案仍存在一些可优化的空间，主要涉及准确性、性能和扩展性三个方面：

解析准确性问题

多维度数据图表（如组合柱状图+折线图）
颜色相近的信息元素
非标准图表类型
视觉模型对复杂图表的解析仍存在约5-10%的偏差率
特别在以下场景容易出错：

性能与成本考量

多模态模型响应时间较纯文本LLM增加40-60%
Token消耗量约为普通文本处理的2-3倍
高并发场景下API调用成本显著增加

检索效率挑战

检索准确率下降15-20%
模糊查询的召回率问题尤为突出
相似页面间容易产生干扰

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】