解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]

zjun3021

已于 2024-12-25 17:28:10 修改

阅读量491

点赞数 4

文章标签：昇腾人工智能

于 2024-12-25 17:27:04 首次发布

本文链接：https://blog.csdn.net/xyz3120/article/details/144724012

版权

背景

尝试使用vllm模型，脚本代码如下：

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

运行过程中出现：
在这里插入图片描述

问题分析

问题就出现在通过python去下载文件，然后SSL的安全校验出现了问题。临时解决办法是，可以规避该校验。

解决方案

首先找到sessions.py文件，可以在完整的报错信息里找到：
修改文件
vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py
大概在500行左右的位置，找到 request 函数，将传参 verify 的默认值由 None 改为 False，

再次运行，问题解决。