ConnectionError: Couldn‘t reach ‘samsum‘ on the Hub (ConnectTimeout)

在本机上配置了服务器相同的环境
1、下载datasets及其相关文件

pip install llama-recipes
pip uninstall transformers
cd transformers
pip install -e .

配置pycharm HTTP代理

​​​​​​什么是 127.0.0.1 IP 地址,如何使用它? - 知乎

【日常踩坑】从 SSLEOFError 到正确配置 Proxy-CSDN博客

127.0.0.1 是主机环回地址。主机环回是指地址为 127.0.0.1 的任何数据包都不应该离开计算机(主机),发送它——而不是被发送到本地网络或互联网,它只是被自己“环回”,并且发送数据包的计算机成为接收者。

2、下载数据集

import torch
from datasets import Dataset, load_dataset, load_from_disk
import os

# 配置代理
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'

def main():
    dataset = load_dataset("samsum", split='train')
    dataset.save_to_disk("D:\\Anaconda\\Code\\4090\\dataset")  # 保存到该目录下

3、将下载的数据集迁移到服务器

4、修改部分代码(/env/lib/python3.10/site-packages/llama_recipes/datasets)

继续我的微调之路

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值