windows系统下在Git Bash中激活PyTorch环境以运行脚本的步骤解析( deepspeed: command not found)

项目场景:

在使用Git Bash进行深度学习项目开发时,需要在特定的PyTorch环境中运行一个.sh脚本来进行模型的微调。这个脚本包含了一系列的训练命令,需要在配置好PyTorch的Conda环境中执行,以确保所有依赖都能被正确加载。

问题描述

在Git Bash中尝试直接运行.sh脚本时,遇到了环境激活问题。由于Git Bash默认不加载Conda环境,直接运行脚本时无法识别其中用到的PyTorch以及其他依赖,导致脚本执行失败。

$ bash lora_finetune.sh
20240226205032
lora_finetune.sh: line 21: deepspeed: command not found

原因分析:

Git Bash默认不集成Conda环境的初始化,因此在Git Bash中直接运行命令时,Conda环境并不会被自动激活。即使系统中已经安装了Anaconda并配置了PyTorch环境,但在Git Bash会话中这些环境是不可见的。因此,当尝试在Git Bash中执行需要特定Conda环境的脚本时,由于环境未激活,脚本中的命令(如调用PyTorch等)会因为找不到相应的命令或库而失败。

解决方案:

初始化Conda环境:在Git Bash会话开始时,手动运行Conda的初始化脚本来使Conda命令可用。这可以通过在Git Bash中执行以下命令实现:

source /c/Users/888/anaconda3/etc/profile.d/conda.sh

注意将路径/c/Users/888/anaconda3替换为实际的Anaconda安装路径。

激活PyTorch环境:一旦Conda命令在Git Bash中可用,就可以使用以下命令来激活包含PyTorch的Conda环境:

conda activate your_pytorch_env

your_pytorch_env替换为你的PyTorch环境名称。

运行脚本:在正确的环境中,使用以下命令运行你的.sh脚本:

bash /path/to/your_script.sh

#example
#cd /d/myproject/MiniCPM/finetune
#bash lora_finetune_ds.sh

将**/path/to/your_script.sh**替换为你脚本的实际路径。

通过这种方式,.sh脚本将在激活了PyTorch环境的Git Bash会话中执行,确保所有依赖都能被正确加载和使用。

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

flow_code

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值