问题描述
使用datasets.load_dataset()函数下载数据集失败
Couldn‘t reach xxx on the Hub (ConnectionError)
无法访问huggingface 去下载数据
尝试1:
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
在下载模型时管用,数据集依旧无法解决。(个人使用体验)
尝试 2:
修改 proxyServers
在对应的环境名/Lib/urllib/request.py
无法解决问题
尝试3:
在对应的目录下,打开终端(前提:本机安装了Git)
git clone https://huggingface.co/datasets/数据集名称
或者
git clone https://hf-mirror.com/datasets/数据集名称
然后使用
ds_raw =datasets.load_dataset("opus_books") # 此时的路径为本地路径,即上面下载文件的路径