【新手小白】在Linux服务器或本地IDE，跑深度学习代码指南（不断更新）

正在努力的鼠鼠

已于 2024-10-27 17:34:58 修改

阅读量3.4k

点赞数 5

文章标签： linux 服务器机器学习 vscode pycharm

于 2023-07-15 21:18:59 首次发布

本文链接：https://blog.csdn.net/qq_52589927/article/details/131744235

版权

本文主要介绍：当我们拿到一个代码后，如何将它运行

包含有：基本的linux、conda命令、如何远程连接服务器、使用vscode或pycharm的教程......

基础命令

Linux命令

conda命令

在服务器上跑代码——MobaXterm终端举例

基础命令

Linux命令

操作系统激活环境 source ~/.bashrc

克隆代码库 git clone https://github.com/ultralytics/yolov3.git
也可以下载到本地，然后上传

安装依赖项 pip install -r requirements.txt
-r x :指定要安装的软件包列表所在的文件x

下载预训练权重 wget https://pjreddie.com/media/files/yolov3.weights
wget x : 从网络上下载文件x

运行目标检测 python detect.py --source path/to/input/image.jpg --weights yolov3.weights --conf-thres 0.5 --output path/to/output/image.jpg
python x : 运行一个python脚本x
--source :
--weights x : 预训练权重文件x

查询服务器pid对应用户 ps -f -p PID

连接服务器IP ssh 172.xx.x.xxx

查看有没有网络 ping 172.xx.x.xxx

退出服务器 exit

vim在插入模式下粘贴 shift+insert

新建文件夹 mkdir name
删除文件夹 rm -rf name

rm -f *

conda命令

1.查看存在的环境：conda info -e

2.创建新环境：conda create -n 环境名 python=（python的版本号）

3.切换到某个环境：conda activate 环境名

4.查看环境中已安装的包：conda list

5.在环境中安装包：pip install 包名

6.删除包:pip unstall 包名

7.删除环境：conda env remove -n 环境名

常见库的安装命令

pip install numpy
pip install matplotlib
pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch -i https://mirrors.aliyun.com/pypi/simple/
pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python

在服务器上跑代码——MobaXterm终端举例

使用jupyter跑

安装jupyter

pip install jupyter

启动jupyter

jupyter notebook

安装内核，名字要和虚拟环境名字一样

创建新文件夹

把想要跑的代码放进来

找到jupyter下面的代码，直接打开

更改内核为刚刚安装的

选中要运行的代码，直接一步步运行

使用linux命令跑

刚进入，在dash界面，需要换为bash命令输入 (每次进入，若不是shell，均需重复)

exec bash
conda deactivate

1. conda环境

创建新conda环境：

# name：指定要创建的新环境的名称
conda create -n name python=3.7

conda环境激活

conda activate name

关掉原来的环境，重新激活环境

conda deactivate

查看conda版本

conda -V

查看python环境

python -V

查看conda下的包

conda list

查看所有conda环境：

conda info --env
conda env list

2. 安装包

安装包，用pip install

检查一下安装好了没，路径对不对

3. 跑代码

上传代码至服务器，直接拖进去

运行代码

4. tmux：终端复用器

新建一个窗口：tmux new -s name(name是一个窗口的名字)

打开窗口 tmux attach

打开某个窗口 tmux attach -t name

查看所有窗口 tmux ls

新建其他窗口：先ctrl+b 再 c

跳转到下一个窗口：先ctrl+b 再 n

跳转到上一个窗口：先ctrl+b 再 p

跳转到指定窗口：先ctrl+b 再分号键

出现index界面输入bash号

左右分屏：先ctrl+b 再shift+%

上下分屏：先ctrl+b 再shift+分号键

分屏跳转：先ctrl+b 再上下左右方向键

返回初始界面：crtl + b 再 d

彻底关闭当前的窗格：ctrl + b 再x

5.服务器内存、显卡等查看

显卡使用情况：nvidia-smi

CPU占用情况：top

选择某张卡跑代码：

1. 加载py文件开头：os.environ['CUDA_VISIBLE_DEVICES']='1'

2. 运行代码时：CUDA_VISIBLE_DEVICES=1 python xxx.py

在服务器上跑代码——vscode举例

vscode中连接服务器

首先需要在vscode中下载一个ssh拓展包

点击远程资源管理器

按照服务器的IP等等，确认连接

之后还需要输入密码

点击左侧的打开文件夹，选择想查看的项目

这时候就可以打开代码了

还可以创建多个链接，或者打开多个项目

这时，我们在终端也可以操作

在vscode中debug

通常来说，只需要点击界面右上角的符号即可dubug

但如果想添加一些参数，例如 “python main.py --config /data/configs/config.yaml” 添加了config，则需要：

大部分的代码都是默认生成的，包括默认debug当前打开的代码，我们只需要添加args部分的代码，两个引号为一组，逗号隔开

此时需要点击页面左侧的按钮来debug，右侧的debug按钮不行

如果还需要指定conda（运行代码需要用某一环境的包）

crtl + shift + p

找到 ”选择解释”

在里面挑选合适的就可以了，这样就不会出现 no module 的报错

使用vscode中的虚拟环境

键盘输入快捷键“Shift+Ctrl+P”打开命令面板，输入“Python”，选择“Python:创建环境”，选择创建“Vene”环境

这时，在界面右小角会出现venv

在终端中输入以下命令激活环境（Windows系统下）

激活环境：& .\.venv\Scripts\activate

退出环境：deactivate

此时可以开始pip安装包，通常使用pip....或pip3.....

在本地跑代码——pycharm举例

前情提要：此处不使用conda，完全是本地环境

1. 打开项目并配置环境

将找到的代码保存在本地后，解压缩，直接将一整个文件夹拖拽到pycharm图标上，即可打开项目

打开后，首先点击界面右上角的这个位置 -> edit configuration，并完成如下四个步骤配置环境

接下来打开设置：File -> Settings -> Project: -> Python Interpreter

在这里需要选择好解释器，并且可以直接点击+号进行包管理（但我一般从终端输入命令下载）

2. 安装项目所需的库

除了第一点中提到的在设置里安装包，还可以采取如下方式用命令安装，或者直接在代码报错的位置处理（不展示了）

打开终端 pycharm terminal

如果项目提供了requirements.txt，可以直接这样一行安装（用清华源安装会更快哦）

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装某一个单独的包

pip install requests==2.18.4

安装某一个单独的包，使用清华源镜像

pip install torch===1.3.0 torchvision===0.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 运行代码

上述工作准备就绪，就可以运行代码了

常见报错与解决方法：

pytorch版本问题

参考：

版本匹配指南：PyTorch版本、torchvision 版本和Python版本的对应关系_pytorchvision各种版本的区别-CSDN博客

当使用镜像时，不要科学上网！！！！！！

查看python和pip版本，重新在pytorch官网选择合适的版本

python --version
pip --version

pip更新，pip版本太老

python -m pip install --upgrade pip

查看指定库的可用版本

pip install SomePackage==

查看pytorch版本，直接在命令行输入即可

CUDA版本问题

eg. 运行项目时遇到`AssertionError: Torch not compiled with CUDA enabled`错误，主要原因是安装了CPU版PyTorch或CUDA版本不匹配。解决方法包括：检查并卸载CPU版PyTorch，确定Python版本，下载对应CUDA和PyTorch版本的whl文件，安装CUDA，最后在项目目录下使用pip安装GPU版PyTorch。

终端输入 pip list，如下显示为CPU版本torch（通过镜像安装的就是CPU版）

如下显示为GPU版本torch

可以去pytorch官网，选择合适的版本，直接复制最下方生成的命令到终端就可以

pytorch官网：PyTorchhttps://pytorch.org/

去nvidia官网，下载合适cuda版本，此处以最常见的11.8为例

CUDA Toolkit 11.8 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=11

正在努力的鼠鼠

关注

5
点赞
踩
58

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫