服务器环境配置

最新推荐文章于 2024-05-02 01:29:04 发布
最新推荐文章于 2024-05-02 01:29:04 发布
阅读量868 收藏 2
点赞数 1
分类专栏： 服务器环境配置 文章标签： 深度学习 tensorflow pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37993445/article/details/112233537
版权

服务器环境配置

目录

系统环境配置... 3

显卡驱动安装... 3

cuda配置... 5

安装cuda. 5

cuda多版本切换... 6

cudnn配置... 7

安装cudnn. 7

cuda、cudnn相关命令... 7

Anaconda配置... 8

安装anaconda. 8

conda相关命令... 9

深度学习框架安装... 10

conda安装pytorch. 10

安装caffe. 11

安装opencv. 11

安装caffe. 12

编译caffe的python接口... 13

其他tips. 14

配置pycharm桌面图标... 14

文件传输... 15

 

 

 

系统环境配置

显卡驱动安装

在不打开vnc桌面环境下（只开putty连接）安装比较简单，不用重启

禁止nouveau（禁止后NVIDIA才能正常安装）

  1.  

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

  1. 打开后发现该文件中没有任何内容，写入：
blacklist nouveau option nouveau modeset=0
  1. 保存后关闭文件，执行命令使生效：
sudo update-initramfs –u

 

接下来安装显卡驱动，以下步骤也适合服务器驱动莫名掉的情况

  1. 卸载原来的驱动程序：
sudo apt-get --purge remove nvidia*
  1. 更新：
sudo add-apt-repository ppa:graphics-drivers/ppa      #需要输入密码并按enter键确认,之后刷新软件库并安装最新驱动
sudo apt-get update
  1. 查看显卡适合的驱动程序版本，选择其中一个型号，可先看下边cuda版本对应的显卡驱动版本，按照需要的cuda版本选择显卡驱动型号：
ubuntu-drivers devices
  1. 安装驱动
sudo apt-get install nvidia-384 nvidia-settings nvidia-prime # 384即为驱动型号版本
  1. 测试是否安装成功：
nvidia-smi

 

 

 

cuda配置

安装cuda

https://i-blog.csdnimg.cn/blog_migrate/12afbc3abe9ff476d1026759261f1688.png

cuda对应显卡驱动版本

进入 https://developer.nvidia.com/cuda-downloads，下载cuda安装文件

 

此时下载的 CUDA中包含有 nvidia 显卡驱动，在安装过程中选择不再安装 nvidia 显卡驱动

  1. 执行安装命令（不使用vnc桌面环境安装）：
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs  #替换为相应的文件名

执行此命令约1分钟后会出现 0%信息，此时长按回车键让此百分比增长，直到100%，然后按照提示操作即可。一定注意是否安装显卡驱动时选择n，其余正常情况选y

  1. 建立软链接：
sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda/
  1. 修改配置文件：
sudo gedit ~/.bashrc
  1. 添加下边两行：
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
  1. 使配置生效：
source ~/.bashrc
  1. 查看是否安装成功（出现pass就成功了）
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
  1. 查看cuda版本：
nvcc -V

 

cuda多版本切换

同时安装了cuda9和cuda8等，将上步的cuda8切换到cuda9

sudo rm -rf /usr/local/cuda    #删除cuda8的软链接
sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda/
nvcc -V

 

 

cudnn配置

安装cudnn

官网下载cuda对应版本：https://developer.nvidia.com/rdp/cudnn-archive

  1. 下载解压得到cudnn的文件夹（名为cuda）：
tar -xzvf cudnn-8.0-linux-x64-v6.tgz
  1. 复制cudnn文件到cuda里：
sudo cp cuda/lib64/* /usr/local/cuda/lib64/
sudo cp cuda/include/* /usr/local/cuda/include/
  1. 此时虽然装好了但之后配置caffe tf等还是可能会报错找不到cudnn，保险起见：
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.6 #删除原有动态文件
sudo ln -s libcudnn.so.6.0.21 libcudnn.so.6 #生成软衔接，注意文件里具体的版本
sudo ln -s libcudnn.so.6 libcudnn.so #生成软链接

 

 

cuda、cudnn相关命令

nvidia-smi                              #查看显卡驱动版本及使用情况
nvcc –V          #或者nvcc –version    #查看cuda版本
which nvcc                              #查看cuda位置
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2   
#查看cudnn版本

 

 

Anaconda配置

安装anaconda

安装caffe、tensorflow、pytorch等深度学习框架都使用anaconda安装，可以安装不同版本，相互之间不影响

 

  1. 下载anaconda安装文件，以安装3.5版本为例：
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh 

其他版本可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/自行查找，使用清华源较快

sudo bash Anaconda3-5.0.0-Linux-x86_64.sh

按回车确定安装位置等信息

  1. 添加国内源（例子是中科大源，可添加其他的）：
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes

 

 

conda相关命令

conda update -n base conda           #update最新版本的conda
conda create -n xxxx python=3.7      #创建python3.5名为xxxx的虚拟环境
conda activate xxxx                   #开启xxxx环境
conda deactivate                      #关闭环境
conda env list                        #显示所有的虚拟环境
conda info --envs                     #显示所有的虚拟环境
conda remove –n xxxx --all           #删除某虚拟环境
conda remove --name huanjing_name bao_name        #删除环境中某个包

 

 

 

深度学习框架安装

conda安装pytorch

  1. 创建名为pytorch-0.1，python版本为3.6的虚拟环境
conda create –n pytorch-1.0.1 python=3.6
  1. 进入相应的虚拟环境中
conda activate pytorch-1.0.1 
  1. 要安装较老的固定版本的话，最好先在虚拟环境中安装系统cuda版本对应的cuda toolkit，系统cuda——conda安装的cudatoolkit——pytorch版本 一定要对应：
conda install cudatoolkit==8.0
  1. 安装固定版本pytorch：
conda install pytorch=1.0.1 torchvision=0.2.1

网上教程会在后边加上-c pytorch，这是从官方源下载很慢，去掉的话从国内源下载

 

 

 

 

安装caffe

未使用conda安装过，直接安装方法如下，修改的相关配置文件可参考/home/user/caffe/：

安装opencv

  1. 安装依赖：
sudo apt-get update
sudo apt-get install libopencv-dev build-essential checkinstall cmake pkg-config                         #还有其他挺多的…具体可以看安装中提示

安装ffmpeg

sudo add-apt-repository ppa:jon-severinsson/ffmpeg
sudo apt-get update
sudo apt-get install ffmpeg
sudo apt-get install frei0r-plugins
  1. 进入官网 : http://opencv.org/releases.html, 下载3.4.0版本
  2. 进行编译安装：
cd opencv-3.4.0/
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE –D CMAKE_INSTALL_PREFIX=/usr/local ..
make –j8
sudo make install
  1. 查看是否安装成功：
pkg-config --modversion opencv

 

安装caffe

  1. 下载caffe官方版本：
git clone https://github.com/BVLC/caffe.git
  1. 进入caffe文件夹，复制makefile.config.example文件，名为makefile.config:
cp Makefile.config.example Makefile.config
  1. 修改makefile.config文件：
将 #USE_CUDNN := 1 修改成： 
USE_CUDNN := 1
 
将 #OPENCV_VERSION := 3 修改为： 
OPENCV_VERSION := 3

 

将 #WITH_PYTHON_LAYER := 1 修改为 
WITH_PYTHON_LAYER := 1

 

修改python路径：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       
 

根据下图，注释相关cuda_arch：

 

  1. 修改Makefile文件：
将： NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)  
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
 
将：LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
  1. 执行编译：
make all –j8     #显示权限不够前面加sudo
make runtest –j8

编译caffe的python接口

  1. 进入caffe根目录进行编译：
cd caffe
make pycaffe –j8
  1. 验证是否编译成功：
python
import caffe

若显示 no module named caffe:

sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc
source ~/.bashrc

 

 

 

 

其他tips

配置pycharm桌面图标

  1. 进入桌面文件夹：
cd ~/Desktop
  1. 新建桌面图标文件
gedit Pycharm.desktop
  1. 写入以下内容后保存：
[Desktop Entry]
Type=Application
Name=Pycharm
Icon=/home/user/pycharm-2019.2/bin/pycharm.png #改为相应安装位置
Exec=/home/user/pycharm-2019.2/bin/pycharm.sh
MimeType=application/x-py;
Name[en_US]=pycharm
  1. 右键上述文件-属性-权限：允许此文件作为程序运行

 

 

 

 

 

 

 

 

睡前救世主(￣_￣ )
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
服务器配置环境
hanxuanhaha的博客
06-06 136
参考blog：Ubuntu 20.04安装Anaconda3及简单使用 文章目录前言一、安装cuda二、安装conda1.下载并运行2.修改环境变量三、创建虚拟环境及安装包 前言 本文记录了在服务器上配置环境的过程。版本信息如下： cuda Anaconda3 Linux64bits-x86 python 3.6 tensorflow-gpu 1.15 一、安装cuda 略 二、安装conda 1.下载并运行 进入文件 cd 从官网下载安装包 wget 下载地址 显示一下确认下载 ls
服务器环境配置教程
weixin_38530843的博客
10-19 258
如何在Linux服务器上安装Anaconda（超详细）_あなたを待って-CSDN博客_服务器安装anaconda 判断版本号： 文章目录 Anaconda 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 选择正确的版本号： Anaconda 在服务器上安装Anaconda_m0_37548423的博客-CSDN博客_服务器安装anaconda 如何在Linux服务器上安装Anaconda（超详细）_あなたを待って-CSDN博客_服务器安装a
Ubuntu18.04安装Tensorflow1.8.0（GPU版)
weixin_43990868的博客
09-10 1670
Ubuntu18.04安装Tensorflow1.8.0（GPU版) 先说一下环境配置： 系统：Ubuntu18.04 GPU: MX110 注意：安装之前一定要先把CUDA和cuDNN的版本搞清楚了，因为CUDA与cuDNN的版本必须要和Tensorflow的版本对应上，否则即使安装成功，最后在python环境里导入tensorflow时也会报错。如下图所示，本文选择的版本是Tensorflow1.8，cuda9.0，cudnn7.0。 一、安装NVIDIA驱动 在软件和更新中的附加驱动进行安装 注意
Windows下TensorFlow GPU 1.8.0安装
flashorsink的博客
03-06 4519
1. 首先进入tensorflow官网查看1.8.0对应的python、CUDA和cuDNN版本（默认显卡驱动已安装） TensorFlowGPU版本对应https://tensorflow.google.cn/install/source_windows#gpu可以看到我们这次要安装的1.8.0对应版本为python3.5-3.6、CUDA 9和cuDNN 7，那么我们先用anaconda创建一个python3.6的环境,如下我们就创建并激活了一个python3.6版本、名字叫tf18的环境 con
2024年最全手把手教你给个人服务器配置环境(1)
最新发布
2401_84562659的博客
05-02 298
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
TensorFlow1.8.0+cuda9.0+cudnn7.1.2
OneQuestionADay的博客
07-26 635
记录一个折磨我三天的小（da）问题 很早以前就被cuda、cudnn、显卡驱动、TensorFlow、pytorch等等的版本之类的问题困扰，不同的代码可能会需要不同版本的包，直到有一天我使用了anaconda（见Ubuntu安装Anaconda），按不同代码的版本需求安装不同的包（见cuda、cudnn、pytorch、tensorflow安装）。平静了很久很久以后，又出现了一个新的问题。 有个代码之前能够成功运行，虽然这个环境的cuda、cudnn、TensorFlow版本一直都有问题。下面我记录一下我
ubuntu 安装tensorflow-gpu==1.8
confuciust的专栏
06-25 1661
先到Anaconda 官网下载 anaconda3 (5.2.0), 接着安装sh anaconda3.sh 接着在命令行 conda install tensorflow-gpu==1.8 接着conda install keras-gpu 还有conda install opencv 最后 conda update h5py（为了消除那个tf.float的那个警告） Packag...
Ubuntu18.04完美搭建Tensorflow-gpu
Francis的博客
01-26 2455
Ubuntu18.04完美搭建Tensorflow-GPU1.80.导语这是18年的最后一个工作日，为了这篇文章耗费了半天的时间来琢磨！关于文章更新，后面不能保证每天一篇...
服务器环境配置工具
04-30
服务器环境配置工具是IT行业中必不可少的一环，它们用于简化在服务器上部署和管理软件环境的过程。这类工具通常包括自动化脚本、配置管理软件以及版本控制系统等，能够帮助系统管理员高效地完成任务，确保服务器的...
WordPress博客服务器环境配置
01-20
早就想搭建一个专属于自己的...安装 WordPres很容易，但是把相关的配置好就比较麻烦了。下面是我整个搭建过程的总结。操作系统:Ubuntu 12.04LTS首先列出需要的文件：1.wordpress http://wordpress.org/download/2.mysql
Windows server 2003 服务器环境配置 新手简明版
09-30
Windows server 2003 服务器环境配置 新手简明版，第一次接触win2003服务器的朋友应该也可以参考配置下。
离线安装 timm 0.6.12 库，适用于在内网环境下的服务器环境配置
01-24
离线安装timm库，适用于在内网环境下的服务器环境配置！ 直接使用 pip install timm 会提示无网络，无法安装，且低于timm 0.4.12的版本会提示报错ImportError: cannot import name 'container_abcs' from 'torch._...
Ubuntu18.04/16.04+ Tensorflow1.8 +anaconda安装总结
lilywei的博客
01-13 2256
Ubuntu18.04/16.04+ Tensorflow1.8 +anaconda安装总结 主要参考网址： 1.https://blog.csdn.net/Aiolia86/article/details/80342240 2.https://blog.csdn.net/weixin_40920290/article/details/80462734#3cudnn70 Ubuntu18....
Ubuntu18.04安装CUDA深度学习环境以及OpenGL库对比
tugouxp的专栏
08-20 6207
N卡在深度学习领域具备无可替代的地位，这里记录以下在我这台配备GF MX350 N卡笔记本 上安装cuda以及cuNN的具体步骤。MX350属于低端显卡了，一开始我还担心它会不会不支持CUDA，后面确认了一下，发现可以支持。关于确认N卡是否支持CUDA以及支持版本的具体步骤，可以参考我的这篇博客： 如何确定PC Nvidia显卡是否支持CUDA以及cudaNN? 过程不难，细节很多，下面记录具体步骤： 1.安装显卡驱动： ...
ubuntu 16.04 配置 tensorflow-gpu1.8
qq_45196410的博客
08-25 425
1、查看cpu、gpu的配置 查看CPU: lscpu 查看GPU: lspci | grep -i vga lspci -v -s 01:00.0 2、安装nvidia显卡驱动 禁用ubuntu显卡驱动（nouveau） #如有输出信息则需要禁用nouveau lsmod | grep nouveau #禁用 cd /etc/modprobe.d sudo gedit blacklist-nouveau.conf #在文件末尾添加如下信息 blacklist nouveau options nouvea
Ubuntu18.04安装驱动、cuda、cudnn（亲测有效）
weixin_38526781的博客
04-26 3516
1、Ubuntu18.04安装显卡驱动 禁用SecureBoot（按照主板型号，查询开机进入bios按键，关闭secureboot） 禁用nouveau sudo gedit /etc/modprobe.d/blacklist-nouveau.conf #在文件中插入以下内容，将nouveau加入黑名单，默认不开启 blacklist nouveau options nouveau modeset=0 #输入以下命令使禁用生效然后重启 sudo update-initramfs -u sudo re
Ubuntu18.04安装Tensorflow-gpu
weixin_33737134的博客
06-06 129
写篇blog记录一下配置tensorflow-gpu开发环境 环境版本 系统：Ubuntu 18.04 LTS GPU：GeForce GTX 1050 Mobile Cuda: 9.0 Cudnn: 7.0.5 Tensorflow-gpu:1.8.0 Python:python3.6.5 安装Cuda ...
Ubuntu18.04系统上安装TensorFlow-GPU、CUDA、CUDNN
流觞忆梦
05-08 1069
最近再跑一个深度学习的模型，刚开始在虚拟机上跑，发现虚拟机上使用不了TensorFlow-GPU，所以速度特别的慢。决定装一个双系统使用GPU进行训练模型。 一、安装NVIDIA显卡驱动 1、通过Ubuntu上软件和更新进行安装 1.1、打开软件和更新，先更新软件源（这里我选择的是清华源），选择附加驱动，选择NVIDIA(这里我选择第一个)，点击关闭，点击重新载入，安装完成。 2、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值