报错: USER_AGENT environment variable not set, consider setting it to identify your requests.

1. 问题背景

今天在使用langchain的时候运行如下代码报错

import os
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
    model="Qwen2-72B-Instruct", 
    temperature=0, 
    api_key= "123",
    base_url="http://xxxxx:8001/v1"
)
messages = [   SystemMessage(content="Translate the following from English into chinese"),    HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))

输出如下:
USER_AGENT environment variable not set, consider setting it to identify your requests.

2. 出错原因

from langchain_community.document_loaders import WebBaseLoader 
# USER_AGENT environment variable not set, consider setting it to identify your requests.

这个错误消息提示你在使用 WebBaseLoader 导入包时，USER_AGENT 环境变量未设置。USER_AGENT 是一个用于标识请求来源的字符串，通常在发送 HTTP 请求时，服务器会根据 USER_AGENT 来判断请求是来自于哪个浏览器或客户端。

3. 解决方法

代码中设置USER_AGENT, 注意设置USER_AGENT的代码一定要放在WebBaseLoader 这个包前面，不然还是会报错

import os
os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
    model="Qwen2-72B-Instruct", 
    temperature=0, 
    api_key= "123",
    base_url="http://xxxxx:8001/v1"
)
messages = [   SystemMessage(content="Translate the following from English into chinese"),    HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))

4. 总结：

你可以通过设置 USER_AGENT 环境变量来解决这个问题。以下是如何在不同环境下设置 USER_AGENT 环境变量的方法：

1. 在代码中设置 USER_AGENT 环境变量：

你可以直接在代码中设置环境变量：

import os
os.environ['USER_AGENT'] = 'YourCustomUserAgent'

from langchain_community.document_loaders import WebBaseLoader

将 "YourCustomUserAgent" 替换为你想要设置的 USER_AGENT 字符串。例如：

os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

2. 在操作系统的命令行中设置 USER_AGENT 环境变量：

• Windows:

  set USER_AGENT=YourCustomUserAgent
  

• Linux/macOS:

  export USER_AGENT="YourCustomUserAgent"
  

然后再运行你的 Python 脚本。

3. 在 .env 文件中设置 USER_AGENT 环境变量：

如果你使用的是 python-dotenv，你可以在项目的 .env 文件中添加：

USER_AGENT=YourCustomUserAgent

然后在代码中加载环境变量：

from dotenv import load_dotenv
load_dotenv()

from langchain_community.document_loaders import WebBaseLoader

选择合适的 USER_AGENT 字符串：

通常，USER_AGENT 可以是一个标准的浏览器标识，例如：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3

这将告诉服务器你的请求是来自一个 Chrome 浏览器。

通过设置 USER_AGENT，你可以解决这个错误并继续使用 WebBaseLoader 进行文档加载。