打造高效问答系统：合合信息文档解析工具的应用与实践

本文链接：https://blog.csdn.net/b_qixin/article/details/139450815

LLM（大型语言模型）的应用落地正快速推动着各行各业工作模式的革新。根据埃森哲在2023年发布的研究报告，预计全行业中有40%的工作时间将得到大语言模型的支持与协助。通过引入AI作为辅助，不仅能重塑员工的工作方式，还能通过自动化技术显著提升工作效率和生产力。

除了常规的知识问答，针对细分领域的专业问答对企业人员来说更具实用价值，比如在阅读冗长的论文或报告时，大模型可以完成综述、归纳和辅助分析等工作。但是这也引出了一个问题：当提供的材料相对复杂冗长时，大型模型是否能够进行文档解析并给出准确答案呢？

在文档交互中，大模型需要做到：根据文件内容给出精准回答、提供关联信息建议并给出专业分析参考。

通常企业在工作过程中，会面临大量的文件信息，人工阅读往往需要消耗大量的时间和精力。尤其在面对扫描或图片文档时，常规办公软件无法完成关键词检索，导致信息收集困难。大模型可以解决这个问题吗？合合信息技术团队以国内某自然语言大模型为例进行了测试。

首先，上传一份多达100页的企业年报扫描文本，并进行提问：根据文档内容，该公司的上市时间、地点以及营业期限分别的何时何地？大模型准确无误地给出了答案。

接着，再次提问：报告中提到的企业与客户间的销售商品合同包含哪些条款？大模型同样精准地提供了答案。将回答与原文对比，发现其信息不仅准确，而且详尽全面。

这些示例表明，在处理年报等长篇文档的信息提取任务时，大模型能够有效地提供分析辅助，帮助用户快速把握关键信息。

上传一份包含数据与图表的经济报告并进行提问：依据报告，美国CPI食品的1月官方值是多少？

大模型回答如下：

根据您提供的文件内容，报告中并没有直接提供美国CPI食品的1月官方值。如果需要1月的具体数值，可能需要查阅其他官方数据发布渠道或等待官方数据的公布。

但是如果进行人工检索，可在报告中获得如下表格，清楚地写明了CPI食品1月的官方值。

那么问题来了，为什么大模型读取不到这一信息呢？

上传扫描版论文后，提出具体问题：根据所给文件，精氨酸在40度的水中，溶解度是多少？

大模型回答如下：

文档中并没有直接提供精氨酸在40℃时的具体溶解度数值。同时，它补充：如果文档中确实包含了40℃的溶解度数据，但由于文档不完整或扫描不清晰导致无法读取，请提供更详细的信息或完整的文档，以便进行准确回答。

然而，表格中清晰地提供了这些信息：

在实际的工作场景中，需要识别的文件往往是纷繁多样的，其中包括清晰且便于机器读取的纯文字电子文件，也可能包含大量形式的图表，或是来源时期不一的纸质扫描档、模糊或扭曲的页面。大模型目前的回答还未达到理想状态。

通过上述几项测试可以看到大模型在面对经济报告和期刊论文的回答并不准确。使用合合信息的文档解析工具把PDF版的经济报告转成Markdown格式后再次发送给大模型，并提出相同的问题。此时大模型给出了正确答案。

在期刊论文案例中，有线表格中的内容同样得到了正确提取。这表明，问题就出现在文档解析环节。

在先前的测试中，大模型没有从文档中准确捕捉到关键信息，而当合合信息文档解析产品把图文档进行格式处理，转化成机器可读格式，大模型就能基于文档内容，快速准确的给出答案。

在业界实践中，目前问答模型的落地面临以下几个挑战：

第一，文档识别的失败率较高。

当面对复杂的版面时，模型无法正确地解析文档，包括获取标题、分块文本、图表等内容。在这种情况下，大型模型常常无法提供细节信息的答案，或者给出错误的答案。

第二，逻辑结构的解析不完整。

模型在划分段落语义时可能出现错误，导致回答不全面或存在总结性偏差。

第三，召回效果不佳。

这可能是由于训练数据的不平衡，影响了模型的检索召回能力。

而面对前两种问题，文档解析工具能够助力解析获取内容极大提升大模型的应答能力，优化用户体验。

合合信息文档解析产品已经上架TextIn平台，每位开发者都可以注册账号并开通使用。

点击【免费体验】，即可在线试用，如下图所示：

如果想试试用代码调用，也可以访问对应的接口文档内容：

平台提供了一个Playground，帮开发者们预先调试接口。

点击页面中【API调试】按钮，即可进入调试页面。

在这里可以简单配置一些接口参数，发起调用后，右侧就会出现调用结果。