- 博主简介:努力学习的22级计算机科学与技术本科生一枚🌸
- 博主主页: @Yaoyao2024
- 往期回顾: 【科研小白系列】使用VScode连接远程服务器编码训练模型,真的太香了!!
- 每日一言🌼: 不管前方的路有多苦,只要走的方向正确,不管多么崎岖不平,都比站在原地更接近幸福。
—— 宫崎骏《千与千寻》
0、前言
今天是来到一个全新的实验室单位实习的第五天了,回想起来到实验室的第一天,老师给我在服务器上开了个新用户,这意味着我又需要在服务器终端重新配置所有的环境。借着这个机会,我正好可以继续整理出一个比较完整的适合小白的实验室入门教程了。
同时在这个实习过程中,我也学到了很多东西,比如工具的正确使用、新的终端工具、调试方法等等。也会在这期之后继续更新。
碎碎念,其实在第一天连接服务器的时候,我遇到了很多问题,比如在本地windows下怎么都连不上服务器,最终换成苹果系统居然神奇的好了。这边的科研人员基本上都是用MacOS和命令行进行开发,这对热衷于Windows和Pychram的我来说简直是个巨大的冲击。在这个过程中,感谢一直坚持不放弃的自己,感谢耐心指导我的师姐和徐老师,感恩!
1、Miniconda的安装
Tips, 以下步骤是基于我们已经连接了远程服务器,然后在连接后的终端所做的。
Miniconda和Anaconda类似,都是管理python环境的工具。
1.1 查看服务器的操作系统信息
连接好服务器后在终端运行以下命令
uname -a
1.2 查看服务器的cuda版本(重要)
执行:
nvcc -V
CUDA(Compute Unified Device Architecture)是 NVIDIA 推出的一种并行计算平台和编程模型,CUDA 软件:由 CUDA 驱动、CUDA 工具包等组成。CUDA 驱动负责管理 GPU 资源和与硬件交互,CUDA 工具包提供了一系列的开发工具,如编译器、调试器、性能分析工具等,还包含了 CUDA 编程语言和相关的库,方便开发者进行 CUDA 程序的开发。
一句话:CUDA是我们使用GPU的中介,要想使用GPU加速我们模型的训练或预测,必须保证安装了CUDA!
如果这个时候出现
.(一般是因为CUDA没有加入到你当前这个新用户的环境变量里面)
解决办法
-
查看cuda的bin目录下是否有nvcc:
cd /usr/local/cuda/bin
-
如果存在,直接将cuda路径加入系统路径即可:
-
进入配置文件
vim ~/.bashrc
(在/.bashrc中配置LD_LIBRARY_PATH路径、配置PATH路径,完整配置如下) -
添加以下两行(
i
进入插入编辑模式)export LD_LIBRARY_PATH=/usr/local/cuda/lib export PATH=$PATH:/usr/local/cuda/bin
-
更新配置文件:
source ~/.bashrc
-
再次执行nvcc -V 就可以看到相应cuda版本了,如下:
以下是详细的步骤来完成编辑
~/.bashrc
文件并添加指定内容:
-
进入配置文件:
- 打开终端,输入命令
vim ~/.bashrc
。这会使用vim
文本编辑器打开~/.bashrc
文件。~
代表当前用户的主目录,.bashrc
是一个隐藏文件,用于存储当前用户的 bash 环境配置信息。
- 打开终端,输入命令
-
进入插入模式:
- 当
vim
打开~/.bashrc
文件后,你会看到文件内容,此时处于命令模式
。要进行文本编辑,需要进入插入模式
。按i
键(小写的i
),屏幕左下角会出现-- INSERT --
字样,表示你已进入插入模式。
- 当
-
添加内容:
- 在文件末尾(你可以使用向下箭头键
↓
移动到文件末尾)添加以下两行内容:export LD_LIBRARY_PATH=/usr/local/cuda/lib export PATH=$PATH:/usr/local/cuda/bin
- 第一行设置了
LD_LIBRARY_PATH
环境变量,指定了 CUDA 库文件的路径。第二行将 CUDA 的bin
目录添加到系统的PATH
环境变量中,这样系统就可以找到nvcc
命令。
- 在文件末尾(你可以使用向下箭头键
-
保存并退出:
- 添加完内容后,按
Esc
键退出插入模式,回到命令模式。 - 在命令模式下,输入
:wq
(冒号:
加上wq
),然后按回车键。:w
表示保存(write),:q
表示退出(quit)。如果文件成功保存并退出,你将回到终端命令行界面。
- 添加完内容后,按
完成上述步骤后,就完成了 ~/.bashrc
文件的编辑,接下来就可以按照执行 source ~/.bashrc
来更新配置文件,使新添加的环境变量生效。
2、Miniconda的下载
参考官网下载地址:https://docs.anaconda.com/miniconda/
2.1 下载并安装 miniconda3
(本质其实就是运行上面的命令)
# 创建目录 ~/miniconda3 ,如果父目录不存在则一并创建。
# -p 选项表示如果需要的话创建目录及其父目录,以确保目标目录结构存在。
mkdir -p ~/miniconda3
# 从指定的 URL 下载 Miniconda3 的安装脚本。
# https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 是下载链接。
# -O 选项将下载的内容保存到指定的文件路径 ~/miniconda3/miniconda.sh 。
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
# 以静默模式运行 Miniconda3 的安装脚本。
# -b 选项表示以 batch 模式安装,不会提示用户进行交互操作。
# -u 选项表示在安装过程中不更新已经安装的包。
# -p 选项指定安装路径为 ~/miniconda3 。
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
# 删除下载的 Miniconda3 安装脚本。
# -rf 选项中, -r 表示递归删除目录及其内容, -f 表示强制删除,不提示确认。
rm -rf ~/miniconda3/miniconda.sh
安装完miniconda3后还需要初始化,执行代码:
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh
如果出现bash: conda: command not found...
vim ~/.bashrc
export PATH=$PATH:/data3/huangfuyao/miniconda3/bin
2.2 创建虚拟环境
执行代码
source ~/.bashrc
conda create --name myenv python=3.10
2.3 在虚拟环境中安装pytorch
pytorch官网:https://pytorch.org/get-started/locally/,选择合适的版本。
执行代码:
conda activate myenv # 进入虚拟环境
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
至此,安装完毕!!🎉撒花
现在就可以用conda 命令来激活环境、下载包等等操作