langchain UnstructuredPDFLoader读取pdf仅生成单篇Document解决办法

最新推荐文章于 2024-06-09 11:15:00 发布
最新推荐文章于 2024-06-09 11:15:00 发布
阅读量1.7k 收藏 3
点赞数
文章标签： langchain pdf 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cm2010_03_31/article/details/132306224
版权

from langchain.document_loaders import UnstructuredPDFLoader

loader = UnstructuredPDFLoader("test.pdf")

pages = loader.load_and_split()

langchain 的UnstructuredPDFLoader默认采用的是fast解析，如果是比较长的pdf，会发现没有分割文档，把整篇文章都放到一个document里了，这样在向量索引以后进行大模型问答的时候很容易就超过了max_tokens。

解决办法是采用PyPDFLoader，会按照页面分割文档。

from langchain.document_loaders import PyPDFLoader

loader = PyPDFLoader("test.pdf")

pages = loader.load_and_split()

未来已存在
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
langchain 加载各种格式文件读取方法
weixin_42357472的博客
10-15 1967
参考：https://python.langchain.com/docs/modules/data_connection/document_loaders/
LangChain pdf的读取以及向量数据库的使用
我的博客
02-05 1882
LangChain pdf的读取以及向量数据库的使用
LangChain - 文档加载
编码时光
04-08 1458
一、关于 检索 二、文档加载器 入门指南 三、CSV 1、使用每个文档一行的 CSV 数据加载 CSVLoader 2、自定义 csv 解析和加载 （csv_args 3、指定用于 标识文档来源的 列（source_column 四、文件目录 file_directory 1、加载文件目录数据（DirectoryLoader 2、显示进度条 （tqdm，show_progress 3、使用多线程 （use_multithreading 4、更改加载器类（loader_cls 5、使用 TextLoader
pdf 文档向量化详细过程
最新发布
2401_85343303的博客
06-09 981
因为我使用的是一份 pdf 文件，所以可以根据 .pdf 后缀可以选择使用自定义的RapidOCRPDFLoader 类下面的代码看起来很长，其实关键的逻辑就是在 pdf2text 函数中，先通过提取出每一页pdf的信息doc列表 ，然后遍历doc列表中每一个 的page信息。这里的page里面包含了可能出现的文本和图片，如果有文本就把ocr识别的这一页 pdf 文本长字符串加入到resp中，如果有图片就通过可能的旋转和 ocr 等操作，将识别出来的图片中的文本加入到resp中，最后将resp返回即可。
#langchain | RAG |富文本一致性解析 | NLP # langchain支持的9种PDF内容提取方式
weixin_45312236的博客
04-17 835
【代码】#langchain | RAG |富文本一致性解析 | NLP # langchain支持的9种PDF内容提取方式。
LangChain-RAG学习之 文档加载器
m0_62458145的博客
05-06 1903
参见csv 模块文档，了解支持的 csv 参数的更多信息。
如何利用langchain和OPENAI来对你的PDF进行问答
superw的博客
05-23 1000
该应用程序读取 PDF 并将文本拆分为更小的块，然后可以将这些块输入 LLM。它使用 OpenAI 嵌入来创建块的矢量表示。然后，应用程序会找到与用户提出的问题在语义上相似的组块，并将这些组块提供给 LLM 以生成响应。该应用程序使用 Streamlit 创建 GUI 和 Langchain 来处理 LLM。Streamlit 这个对学PYTHON的来说真的是个好东西，想学AI的一定要了解。您还需要将 OpenAI API 密钥添加到。要使用该应用程序，请。
【LangChain学习】基于PDF文档构建问答知识库（三）实战整合 LangChain、OpenAI、FAISS等
08-09 9283
实战整合 LangChain、OpenAI、FAISS等技术链，构建基于pdf的知识问答库，同时配合自定义提示PromptTemplate，优化问答效果
使用LangChain框架加载与解析txt,markdown,pdf,jpg格式文档
qq_45257495的博客
01-03 5139
使用LangChain库进行文档加载，对于txt,md,pdf格式的文档，都可以用LangChain类加载，UnstructuredFileLoader（txt文件读取）、UnstructuredFileLoader（word文件读取）、MarkdownTextSplitter（markdown文件读取）、UnstructuredPDFLoader（PDF文件读取），对于jpg格式的文档，我这里提供了一种思路。
使用 Flask 快速构建 基于langchain 和 chatGPT的 PDF摘要总结
assember的博客
04-20 4284
简介 这里不对 langchain 和 chatGPT 进行介绍，仅对实现过程进行整理 环境 Python >=3.8 Flask2.2.3 Jinja23.1.2 langchain0.0.143 openai0.27.4 实现 总结功能 使用 langchain 和 openai 接口实现总结功能 实现逻辑：通过text_splitter 将pdf 分块，送入 langchain 的summarize_chain中进行处理 同样也可以使用 OpenAIEmbeddings 来实现，文档地址：lan
#LLM入门 | langchain | RAG # 4.2_文档加载
weixin_45312236的博客
05-07 467
一旦文档被加载，它会被存储在名为pages的变量里。在第二部分，我们利用LangChain加载器从YouTube视频链接下载音频到本地，并用OpenAIWhisperPaser解析器将音频转换为文本。在page变量中，每一个元素都代表一个文档，它们的数据类型是langchain.schema.Document。首先，我们将构建一个 GenericLoader 实例来对 Youtube 视频的下载到本地并加载。接下来，我们将探讨如何加载网页链接，以GitHub上的Markdown文档为例进行学习。
Langchain使用介绍之-文档加载
qiaotl的博客
09-06 3314
通过实际代码演示的方式介绍Langchain如何完成pdf文档，youtube音频，网页文档的加载
Unstructured - 提取非结构化数据
编码时光
04-10 2900
模块化功能 和 连接器形成一个内聚系统，简化了数据提取和预处理，使其能够适应不同的平台，并有效地将非结构化数据转换为结构化输出。每个连接器都是针对特定平台（例如 Azure、Google Drive 或 Github）量身定制的，并附带独特的命令和依赖项。如果您只计划解析一种类型的数据，您可以通过注释掉其他数据类型所需的一些包/要求来加快构建映像的速度。我们正在发布 Chipper 模型的测试版，以在处理高分辨率、复杂文档时提供卓越的性能。应下载适合您的架构的相应映像，但如果需要，您可以使用。
使用 pypdf 快速切分 PDF 文件
zorchp
03-19 447
最近有小伙伴问我怎么把 PDF 文档切分成两个大小相近的 PDF文档, 要是在 mac 上, 直接无脑预览就行了, 但是这样不够跨平台, 之后我也尝试过 pymupdf, 但是奈何不支持 arm 架构, 后来还是用 Python 原生的 pypdf 了.有 AI 加持还是很方便。
用 ChatGPT 采用自有数据集训练问答机器人
深度觉醒
04-08 7747
前言最近 LLM 模型很火，chatGPT 涵盖的知识范围之广，令人叹为观止。然而码农肯定不能满足于现有的知识库，要扩展自有数据才能发挥其更大的实用价值。一般来说，深度学习模型大多采用 finetune 的方式来增加训练数据，但 LLM 模型太大了，训练成本过高。无论是离线或是在线训练样本，短时间只有 OpenAI 可为。随着通用大模型的兴起，另外一种被称为 ”前导词注入“ 的提示工程（promp...
文本分割的方式 第二篇
joy357692577的专栏
01-26 1741
接下来，我们将深入探讨多模态文本拆分的领域。这是一个非常活跃的领域，最佳实践正在不断发展。我将向您展示一种由LangChain的Lance Martin广泛采用的方法。虽然这有点超出了分块的范围，但让我们谈谈如何处理这些图像。常见的策略要么使用多模型来生成图像的摘要，要么将图像本身用于您的任务。注意类是如何在单个文档中保持在一起的，然后其余的代码在第二个文档中。我们的前两个级别对此不太适用，因此我们需要找到不同的策略。，这是一个专门用于使您的数据LLM 准备就绪的库。实现此目的的一个非常方便的方法是使用。
LLM之RAG实战（二十九）| 探索RAG PDF解析
wshzd的博客
03-13 2206
换句话说，它将文档的每一行都视为一个由换行符“\n”分隔的序列，这会妨碍段落或表格的准确识别。解析PDF文档的挑战在于准确提取整个页面的布局，并将包括表格、标题、段落和图像在内的内容翻译成文档的文本表示。例如，如果用户想知道图9中2.1节的主要内容，通过准确提取2.1节的标题，并将其与相关内容一起作为上下文发送给LLM，最终答案的准确性将显著提高。否则，它将被视为右列的一部分。对于RAG来说，从文档中提取信息是一种不可避免的场景，确保从源文件中提取出有效的内容对于提高最终输出的质量至关重要。
LangChain系列使用指南：组件介绍_数据处理_文件解析
数智笔记
03-23 1289
langchain处理各类文件类型
用 LangChain 构建基于资料库的问答机器人（二）：从资料源中提取文本信息
chenjambo的博客
07-18 1191
大家好，我是学生大使 Jambo。这个系列的目标是做出一个根据资料回答问题的机器人，那么从资料源中提取文本信息就是一件必要的事。但我们的资料源格式是多样的，比如 PDF、Word、HTML、PPT 等等，甚至有的资料源来自于网络，这些格式都不能直接提取出文本，但好在 Python 有很多第三方库可以帮助我们提取文本信息，并且 LangChain 也帮我们整合到了一起，我们只需要调用 LangChain 的接口就可以了。
langchain pdf文件读取
01-25
以下是使用Python2.7读取PDF文件的方法示例： ```python from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter from pdfminer.converter import TextConverter from pdfminer.layout import LAParams from pdfminer.pdfpage import PDFPage from cStringIO import StringIO def convert_pdf_to_text(path): rsrcmgr = PDFResourceManager() retstr = StringIO() codec = 'utf-8' laparams = LAParams() device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams) fp = open(path, 'rb') interpreter = PDFPageInterpreter(rsrcmgr, device) password = "" maxpages = 0 caching = True pagenos=set() for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True): interpreter.process_page(page) text = retstr.getvalue() fp.close() device.close() retstr.close() return text # 调用函数读取PDF文件 pdf_text = convert_pdf_to_text('path/to/pdf/file.pdf') print(pdf_text) ``` 请注意，上述示例使用的是PDFMiner模块，需要先安装该模块。你可以使用以下命令安装： ```shell pip install pdfminer ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值