解决huggingface模型不能下载的几个方法

国内访问huggingface下载模型通常会出现网络原因而失败，这里提供2种有效的解决方法:

方法1： 利用代理

设置以下环境变量：前提是你有可以访问外网的代理

os.environ['https_proxy'] = 'http://127.0.0.1:10809'
os.environ['http_proxy'] = 'http://127.0.0.1:10809'
os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'

方法2：使用国内镜像

第二种方法是使用国内镜像站： https://hf-mirror.com 但是可能模型不全。

完整代码：

import os
from langchain.embeddings import HuggingFaceBgeEmbeddings
import numpy as np

## 直接下载huggingFace模型尽可能存在网络问题， 解决办法之一是添加代理， 前提是你有可以访问外网的代理
# os.environ['https_proxy'] = 'http://127.0.0.1:10809'
# os.environ['http_proxy'] = 'http://127.0.0.1:10809'
# os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'

##更方便的解决办法是使用huggingface的国内镜像
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
bge_embeddings = HuggingFaceBgeEmbeddings(model_name="BAAI/bge-large-zh-v1.5")

推荐https://github.com/leo038/langchain-rag这个项目是我用langchain实现的RAG项目， 并且对RAG中涉及到的技术点进行了详细的代码讲解。