目录
1.1 MobaXterm使用教程:MobaXterm使用教程
1.2 Linux创建新用户登录异常:Linux创建新用户登录异常
2.2.1 Anaconda创建虚拟环境时出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url问题:Anaconda创建虚拟环境时出现问题
2.3.1 解决pip install慢:解决pip install慢
2.3.2 解决pip install tensorflow-gpu==2.7无法使用GPU问题:解决pip install tensorflow-gpu==2.7无法使用GPU问题
2.3.3 ERROR: No matching distribution found for cv2:ERROR: No matching distribution found for cv2
2.3.4 ModuleNotFoundError: No module named sklearn
2.4 使用Jupyter配置Python:使用Jupyter配置Python
4 Python将txt文本中的每一行读成列表中的一个元素:Python将txt文本中的每一行读成列表中的一个元素
1 服务器新建用户步骤及报错处理
1.1 MobaXterm使用教程:MobaXterm使用教程
1.2 Linux创建新用户登录异常:Linux创建新用户登录异常
2 本地Jupyter网页使用服务器资源运行步骤及报错处理
2.1 下载并安装Anaconda
(2)在官网找到对应系统的安装包,然后wget下载
$ wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
(3)赋予权限
$ chmod +x Anaconda3-2024.02-1-Linux-x86_64.sh
(4) 进入下载后包的目录
$ bash ./Anaconda3-2021.04-Linux-x86_64.sh
2.2 Anaconda创建虚拟环境
$ conda create -n py38 python=3.8
$ conda activate py38
2.2.1 Anaconda创建虚拟环境时出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url问题:Anaconda创建虚拟环境时出现问题
总结:
(1) 先加上清华镜像源
(2) 打开.condarc文件,把所有的源后面都加上linux-64
(3) 把所有的源前面的https全改成http
(4) 把最后一行的- default删除
(5) 再次新建可以成功
2.2.2 创建虚拟环境时报错InvalidArchiveError(‘Error with archive /usr/local/Anaconda3(显示自己的目录):Anaconda创建虚拟环境时出现问题
总结:
(1)更改pkgs下面的文件权限为777(所有人可读可写可执行)
$ chmod -R 777 /usr/local/Anaconda3/pkgs/ #(更换成自己的目录)
(2)清理pkgs下的无用的包和缓存数据
$ conda clean -p # 删除未使用的包
$ conda clean -t # 删除缓存的tarballs包
$ conda clean -a # 删除所有缓存的数据(包括索引缓存等 )
2.3 安装Python包
$ pip install numpy
$ conda install tensorflow-gpu==2.7
2.3.1 解决pip install慢:解决pip install慢
2.3.2 解决pip install tensorflow-gpu==2.7无法使用GPU问题:解决pip install tensorflow-gpu==2.7无法使用GPU问题
总结:使用conda install tensorflow-gpu==2.7安装,用conda安装的话,它就会在conda对应的虚拟环境里面自己匹配一个cudatoolkit和cudnn
2.3.3 ERROR: No matching distribution found for cv2:ERROR: No matching distribution found for cv2
总结:
$ pip install opencv_python
2.3.4 ModuleNotFoundError: No module named sklearn
$ pip install scikit-learn
2.4 使用Jupyter配置Python:使用Jupyter配置Python、在Jupyter Notebook中添加Anaconda环境(内核)
总结:
2.4.0 进入环境
首先使用conda进入想要添加的虚拟环境
$ conda activate py38
2.4.1 安装Jupyter
$ conda install ipykernel
2.4.2 安装JupyterLab
$ conda install -c conda-forge jupyterlab
2.4.3 生成Jupyter配置文件
$ jupyter notebook --generate-config
2.4.4 设置密码
$ jupyter notebook password
2.4.5 设置远程ip可访问
在.jupyter路径下打开jupyter_notebook_config.py
c.NotebookApp.ip = '*' #允许所有ip访问,很重要
c.NotebookApp.open_browser = False #不打开浏览器
c.NotebookApp.port = 8888 #端口为8888,可以自己设置
2.4.6 Jupyter添加kernel
然后将该虚拟环境添加到Jupyter中
$ python -m ipykernel install --user --name [虚拟环境名] --display-name [想要在jupyter上显示的环境名]
以py38为例
$ python -m ipykernel install --user --name py38 --display-name py38
2.4.7 在服务器上启动Jupyter
$ jupyter notebook --no-browser --port=8888 --ip=[服务器ip]
$ jupyter lab --no-browser --port=8888 --ip=[服务器ip]
2.4.8 复制地址在本地浏览器打开Jupyter
3 vscode连接远程服务器
4 Python将txt文本中的每一行读成列表中的一个元素:Python将txt文本中的每一行读成列表中的一个元素
5 安装GPU版本的TensorFlow
5.1 安装
$ conda install tensorflow-gpu==2.7
总结:用conda安装的话,它就会在conda对应的虚拟环境里面自己匹配一个cudatoolkit和cudnn
5.2 TensorFlow查看GPU是否可用
import tensorflow as tf
tf.test.is_gpu_available()
5.3 TensorFlow使用GPU
6 安装GPU版本的PyTorch
6.1 官网
6.2 安装GPU版本的PyTorch
总结:
注意:若没有任何的Anaconda环境被激活,则使用conda命令行安装默认安装在Anaconda的base环境中,使用pip才是在本地安装
(3)无论是用conda还是pip安装,只要速度太慢,就可以下载whl文件安装
(4)conda有网络问题下不了就用pip下
6.3 PyTorch查看GPU是否可用
总结:
(1)先加上清华镜像源
(2)Anaconda指令安装指定cuda版本对应的PyTorch
$ conda install pytorch torchvision torchaudio cudatoolkit=11.1
(3)PyTorch查看GPU是否可用
(4)若不可用
$ conda uninstall cpuonly
若无cpuonly函数库,先
$ conda install cpuonly
7 安装GPU版本的PaddlePaddle
7.1 官网
7.2 安装GPU版本的PaddlePaddle
$ python -m pip install paddlepaddle-gpu==2.5.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
总结:使用官网的pip命令安装
7.3 PaddlePaddle查看GPU是否可用
总结:
import paddle
paddle.utils.run_check()
8 说明
(2)从官网直接安装 CUDA Toolkit 和使用 Conda 安装 PyTorch 时安装 CUDA Toolkit 有以下区别:
- 安装源:
- 官网安装 CUDA Toolkit:您将从 NVIDIA 官方网站下载 CUDA Toolkit 安装程序,并直接在系统中运行该程序进行安装。
- Conda 安装 PyTorch:您将使用 Conda 包管理器安装 PyTorch,并指定要安装的 PyTorch 版本和相应的 CUDA Toolkit 版本。Conda 会自动下载和安装所需的软件包。
- 安装方式:
- 官网安装 CUDA Toolkit:您需要按照 CUDA Toolkit 安装程序的说明进行手动安装。这包括运行安装程序、选择适当的选项和配置系统环境变量等步骤。
- Conda 安装 PyTorch:您可以使用一条简单的命令(如 conda install pytorch torchvision torchaudio cudatoolkit=10.2)来安装 PyTorch,并同时指定所需的 CUDA Toolkit 版本。Conda 会自动解决依赖项并安装所需的软件包。
- 环境管理:
- 官网安装 CUDA Toolkit:您需要自行管理 CUDA Toolkit 的版本和系统环境变量的配置。
- Conda 安装 PyTorch:Conda 提供了环境管理功能,您可以在不同的虚拟环境中安装和管理不同版本的 PyTorch 和 CUDA Toolkit。这使得在同一系统上使用不同版本的 PyTorch 和 CUDA Toolkit 变得更加简单。
- 兼容性:
- 官网安装 CUDA Toolkit:您需要仔细查看 CUDA Toolkit 版本与您要使用的 GPU 和其他软件包的兼容性。确保所选的 CUDA Toolkit 版本与您的硬件和软件要求相匹配。
- Conda 安装 PyTorch:通过使用 Conda 安装命令,并指定要安装的 PyTorch 版本和相应的 CUDA Toolkit 版本,您可以确保 PyTorch 和 CUDA Toolkit 之间的兼容性。
总体而言,两种安装方式的主要区别在于安装源、安装方式、环境管理和兼容性。选择哪种方式取决于需求和个人偏好。如果对 CUDA Toolkit 版本和系统环境配置有更精确的控制需求,官网安装方式可能更合适。如果希望方便地管理和切换不同版本的 PyTorch 和 CUDA Toolkit,并且对安装和环境配置要求较少,使用 Conda 安装方式可能更方便。
(3)根据(2),如果服务器中已经安装了 CUDA Toolkit,那么在安装 PaddlePaddle 时就可以不再次安装 CUDA Toolkit。当在服务器上安装 PaddlePaddle 时,它会自动检测 CUDA Toolkit 的安装情况,并使用 CUDA 提供的 GPU 加速功能。cuDNN也是同理。但是如果你想使用不同版本的CUDA Toolkit,还需要再安装一下。同时,安装CUDA Toolkit就是安装CUDA。