国内访问huggingface下载模型通常会出现网络原因而失败,这里提供2种有效的解决方法:
方法1: 利用代理
设置以下环境变量:前提是你有可以访问外网的代理
os.environ['https_proxy'] = 'http://127.0.0.1:10809'
os.environ['http_proxy'] = 'http://127.0.0.1:10809'
os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'
方法2:使用国内镜像
第二种方法是使用国内镜像站: https://hf-mirror.com 但是可能模型不全。
完整代码:
import os
from langchain.embeddings import HuggingFaceBgeEmbeddings
import numpy as np
## 直接下载huggingFace模型尽可能存在网络问题, 解决办法之一是添加代理, 前提是你有可以访问外网的代理
# os.environ['https_proxy'] = 'http://127.0.0.1:10809'
# os.environ['http_proxy'] = 'http://127.0.0.1:10809'
# os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'
##更方便的解决办法是使用huggingface的国内镜像
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
bge_embeddings = HuggingFaceBgeEmbeddings(model_name="BAAI/bge-large-zh-v1.5")
推荐https://github.com/leo038/langchain-rag这个项目是我用langchain实现的RAG项目, 并且对RAG中涉及到的技术点进行了详细的代码讲解。