finetuning大模型准备(基于Mac环境)

为finetuning进行的热身准备,涉及周边的软件工具,方法。

问题1:finetuning过程较长,采用系统自带命令行没有后台,前台被杀后,容易造成训练失败。

解决方法: tmux可以开启后台训练

问题2:大模型训练过程会有几个G 的bin等文件,不宜下载频繁

解决方法:Git LFS可以进行git屏蔽和指定文件下载

1. tmux

1.1 安装:

brew install tmux

1.2 启动

启动:tmux

1.3 查看已创建的会话

1.4 分屏

①ctrl + B 松开

②shift + %

1.5 分屏后的窗口中的光标互相切换

快捷键:先按ctrl+b, 放开后再按下o

1.6 新建session

tmux new -s Session-name

1.7 进入一个已知会话

tmux a -t Session-name

1.8 关闭会话

tmux kill-session -t Session-name

2.Git LFS

Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件(如视频、图形或大型数据文件)的扩展

以chatglm3-6b模型为例,如下:

很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来,内容会非常大,浪费时间。lfs是个不错的选择。

2.1 lfs安装

git lfs install

2.2 配置lfs 克隆

GIT_LFS_SKIP_SMUDGE=1 git clone <repository-addr>

即时git pull 也不会把大文件拉下来。

2.3 指定匹配对象

git lfs fetch --include 命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象,而不是下载整个仓库的所有LFS对象。

这个命令会下载与指定模式匹配的所有LFS对象,并将其存储在本地LFS缓存中。

2.4 下载

git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本

工欲善其事,必先利其器

开始训练:

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值