AutodL配置依赖(远程服务器)

1.写在前面:依赖安装分为3种

pip install 安装的依赖包位置取决于多种因素,包括是否使用了虚拟环境、操作系统的配置以及 pip 的配置等。以下是几种常见的情况:

1.1 全局安装(未使用虚拟环境)

如果你没有激活虚拟环境直接运行 pip install,依赖包通常会安装到 Python 的全局站点包目录(site-packages)中。

1.2 虚拟环境安装

如果你在虚拟环境中运行 pip install,依赖包会安装到虚拟环境的 site-packages 目录中。虚拟环境的路径通常如下:

  • Linux/macOS:

    • 虚拟环境路径:~/envs/your_env_name/lib/python3.x/site-packages(如果你的虚拟环境位于 ~/envs/your_env_name)。

  • Windows:

    • 虚拟环境路径:.\envs\your_env_name\Lib\site-packages(如果你的虚拟环境位于 .\envs\your_env_name)。

1.3 用户安装

如果你使用 pip install --user,依赖包会安装到用户的本地目录中。具体路径如下:

  • Linux/macOS:

    • 路径为:~/.local/lib/python3.x/site-packages

  • Windows:

    • 路径为:C:\Users\<YourUsername>\AppData\Roaming\Python\Python3x\site-packages

如何查看安装路径

你可以通过以下命令查看当前 pip 安装的依赖包路径:

pip show <package_name>

例如,查看 numpy 的安装路径:

pip show numpy

输出中会显示 Location 字段,指示该包的安装位置。

----------------------------------------------------------------------------------------------------------------

2.为什么要自己搞一个新的虚拟环境?(理解非常重要)

如果你用实验室的服务器,老师就会要求你自己在envs下新建一个文件存放虚拟环境,配置虚拟环境,怕你装着装着把其他环境装坏了。

博主之前自己的电脑,看着别人给的攻略做,也没咋看懂原理,依赖包装了就装了,毕竟是自己的电脑...

我的理解是:

1.全局安装,装一些基础的依赖,比如numpy,torch

2.自己的虚拟环境,安装一些自己需要的依赖,比如tqdm(用于展示进度条),opencv(用于视觉处理方面)

可以理解为水和油的关系,互不相容。

设置-选择解释器

选择解释器选择全局解释器,但是自己安装属于自己的虚拟环境,用的时候激活虚拟环境,全局解释器会被换成你自己装的解释器。

后面有图片解释!!!

接下来开始正片。

------------------------------------------------------------------------------------------------------------

3.创建虚拟环境并安装依赖的步骤:

所以,推荐的做法是先导航到虚拟环境所在的文件夹,激活虚拟环境,然后再运行 pip install 命令。这样可以确保依赖包被正确安装到虚拟环境中,而不会影响全局的 Python 环境或其他项目

1.新建虚拟文件夹并跳转

首先,我在autodl上路径root/miniconda3/envs里右键创建了一个文件夹名叫dyj,这个作为我的虚拟环境的文件夹

当然,这个操作在本地pycharm也能实现。工具-部署-浏览远程主机-根据路径也能(右击创建)找到dyj文件夹

2.创造虚拟环境

目前dyj只是一个空文件夹,需要导入python环境,或者说要导入python解释器。我的理解就是新建虚拟环境=新建一个python解释器。

首先要跳转到文件夹所在地,使用cd命令。然后再使用conda命令

cd ~/miniconda3/envs/dyj
conda create -n dyj python=3.8.19

运行后出现

很显然,dyj是一个空的文件夹,里面什么都没有,更不用说环境了,所以系统提醒你,他不是一个conda环境,问你是不是要创造环境,打下y。之后有y打y。

3.激活虚拟环境

conda activate dyj

 运行以下命令,检查当前使用的 Python 解释器路径:

which python

如果虚拟环境已正确激活,输出路径应类似于:

/root/miniconda3/envs/dyj/bin/python

运行以下命令,检查当前使用的 pip路径:

which pip

如果虚拟环境已正确激活,返回/root/miniconda3/envs/dyj/bin/pip

-----------------------------------------------------------------------------------------------------------------------------

4.查看已有的依赖

conda list

在自己的虚拟环境(也就是开篇提到的深圳)我们目前只安装了python的一些基本依赖,比如pip

而全局环境(也就是开篇提到的中国) ,会有一堆依赖,这是autodl自带的或者你自己无意识自己安装的,这里可以看到numpy2.2.3库,这是我之前安装的。

在python项目中,有一些代码会因为没有依赖而报错。比如这里是缺少torch和tqdm依赖

接下来安装依赖,虽然他应该装到全局环境里,而非自己的环境里。但下面,以安装torch库为例,将torch库安装到自己创建的dyj虚拟环境中( 深度学习数据处理都要用这个,必装的)4

注意看是不是在自己环境里:

运行

pip install torch

等待安装成功即可 

4.1安装报错怎么办?

可能是镜像源,也就是给你提供依赖的网站不稳定,网速不够导致的,可以搜搜"怎么换镜像源"。

比如这是用清华源安装numpy1.24.1版本

pip install numpy==1.24.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

-----------------------------------------------------------------------------------------------------------------------------

4.使用requirements.txt一键安装依赖(小白建议先看完3)

一键安装节省了一个一个安装依赖的好处。

1.获取requirement.txt文件。打开深度学习文件,打开终端,运行下面命令。txt里面包含所有需要的依赖。如果是本地文件,会显示地址,将@和后面的内容删除即可

pip freeze > requirements.txt

打开requirements.txt文件,展示如下

2.先跳转到自己创建的虚拟环境文件夹中(3教过)

3.激活虚拟环境(3教过)

4. 安装requirement里的所有依赖

pip install -r requirements.txt

--------------------------------------------------------------------------------------------------------------------------------

5.常见问题: 

问题1:虚拟环境安装了torch,但pycharm依旧识别不到。

原因:解释器路径问题。

解决方法:已安装Pytorch,却提示no moudle named ‘torch’(没有名称为torch的模块)_pycharm找不到torch模块-CSDN博客

问题2:如何启动你的python文件

conda activate dyj
cd /path/to/your/script/directory
python model_train.py

问题3:使用conda-pack传送环境到无网络的服务器上

使用conda pack进行环境迁移(步骤很详细)-CSDN博客

-------------------------------------------------------------------------------------------------------------------------------- 

觉得好用就点赞收藏吧,

未完待续,等待补充。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值