如何解决LangChain在线加载PDF文件失败的问题（请求403）

背景：

        最近在看LangChain的文档总结功能，我们在LangChain的官网或者GitHub上能看见他给的加载在线PDF文件实例：

from langchain_community.document_loaders import OnlinePDFLoader
loader = OnlinePDFLoader("https://core.ac.uk/download/322982112.pdf")
data = loader.load()
print(data)

打印运行结果：

Traceback (most recent call last):
  File "C:\application\works\fast-Streaming\summary\openPDF.py", line 11, in <module>
    loader = OnlinePDFLoader("https://core.ac.uk/download/322982112.pdf")
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\application\works\fast-Streaming\venv\Lib\site-packages\langchain_community\document_loaders\pdf.py", line 91, in __init__
    raise ValueError(
ValueError: Check the url of your file; returned status code 403

这里我们就会发现该URL加载进行报错了，那么我们把该文件下载呢？

import requests
# #
response= requests.get("https://core.ac.uk/download/84989780.pdf")
print(response.status_code)

打印运行结果：

<Response [403]>

403一般我们就会理解为是访问禁止无权限。

那么其中原理究竟是为什么呢？

我们打印请求头中的headers中的信息：

{'User-Agent': 'python-requests/2.31.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

这时候UA会识别我们是通过python中的requests库拉进行请求的，所以根绝反爬虫协议他会禁止该请求产生403Forbidden。并且OnlinePDFLoader同样存在这个问题，所以我们要设置我们的headers来绕过反爬虫机制。

这里我们有一个很简单的方法：

headers={"User-Agent": "value"}

from langchain_community.document_loaders import OnlinePDFLoader
loader = OnlinePDFLoader("https://core.ac.uk/download/322982112.pdf", headers={"User-Agent": "value"})
data = loader.load()
print(data)

这样我们就可以正常访问该资源了.

如果你想关注更多的AI最新信息和获取到更多关于OPENAI的资源，请关注我们的公众号：