在本机上配置了服务器相同的环境
1、下载datasets及其相关文件
pip install llama-recipes
pip uninstall transformers
cd transformers
pip install -e .
配置pycharm HTTP代理
什么是 127.0.0.1 IP 地址,如何使用它? - 知乎
【日常踩坑】从 SSLEOFError 到正确配置 Proxy-CSDN博客
127.0.0.1 是主机环回地址。主机环回是指地址为 127.0.0.1 的任何数据包都不应该离开计算机(主机),发送它——而不是被发送到本地网络或互联网,它只是被自己“环回”,并且发送数据包的计算机成为接收者。
2、下载数据集
import torch
from datasets import Dataset, load_dataset, load_from_disk
import os
# 配置代理
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'
def main():
dataset = load_dataset("samsum", split='train')
dataset.save_to_disk("D:\\Anaconda\\Code\\4090\\dataset") # 保存到该目录下
3、将下载的数据集迁移到服务器
4、修改部分代码(/env/lib/python3.10/site-packages/llama_recipes/datasets)
继续我的微调之路