基于LLM大模型的信息提取指南

信息提取（information Extraction）是从文本或文档集合中自动检索与特定主题相关的特定信息的过程。 这通常涉及自然语言处理技术的使用。 使用自然语言处理来提取信息通常会导致构建复杂的逻辑，这些逻辑有时非常具体并且不能很好地概括。

好吧……但是我们在谈论什么复杂的逻辑呢？

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包

复杂的逻辑可能涉及技术，例如尝试设计可以解析某些类型文档的模块。 人们必须浏览大量文档才能对布局有一个大致的了解，然后尝试提出依赖于 AWS Textract 等 OCR 服务中的键值对提取的模块，或者使用基于自然语言的提取逻辑来设计 复杂的正则表达式或只是简单地在某些关键字的空间局部性中搜索其相应的值。 这些方法虽然成功，但不能完全不受文档结构变化的影响。

随着在数百万文档和文本的语料库上训练的大型语言模型 (LLM) 的出现，解决这个问题变得相当容易。 大型语言模型可以轻松提取有关给定上下文和模式的属性的信息。 在大多数简单的情况下，它们不需要对任务进行额外的微调，并且可以很好地泛化。 LLM可以更好地分析的文档类型包括简历、法律合同、租赁、报纸文章和其他非结构化文本文档。

此外，为了实现 LLM 功能的民主化，OpenAI 提供了 API，可用于从 GPT 3.5 和 GPT 4 等 LLM 产品生成结果。

在本文中，我将讨论一个非常基本的信息提取管道可能是什么样子，以及如何使用 LangChain 和 Streamlit 等现代 Python 框架，轻松地围绕 LLM 构建 Web 应用程序。

实现方案如下图所示：

信息提取系统示意图

1、光学字符识别

从图像中提取机器可读格式的文本称为光学字符识别 (OCR)。 任何信息提取产品或服务的第一步都是从文档中提取文本。 该文档可以是 PDF 文件或扫描/捕获的图像。 最终，PDF 被转换为图像集合，其中每个页面都被转换为