服务器环境配置
目录
系统环境配置
显卡驱动安装
在不打开vnc桌面环境下(只开putty连接)安装比较简单,不用重启
禁止nouveau(禁止后NVIDIA才能正常安装)
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf
- 打开后发现该文件中没有任何内容,写入:
blacklist nouveau option nouveau modeset=0
- 保存后关闭文件,执行命令使生效:
sudo update-initramfs –u
接下来安装显卡驱动,以下步骤也适合服务器驱动莫名掉的情况
- 卸载原来的驱动程序:
sudo apt-get --purge remove nvidia*
- 更新:
sudo add-apt-repository ppa:graphics-drivers/ppa #需要输入密码并按enter键确认,之后刷新软件库并安装最新驱动
sudo apt-get update
- 查看显卡适合的驱动程序版本,选择其中一个型号,可先看下边cuda版本对应的显卡驱动版本,按照需要的cuda版本选择显卡驱动型号:
ubuntu-drivers devices
- 安装驱动
sudo apt-get install nvidia-384 nvidia-settings nvidia-prime # 384即为驱动型号版本
- 测试是否安装成功:
nvidia-smi
cuda配置
安装cuda
cuda对应显卡驱动版本
进入 https://developer.nvidia.com/cuda-downloads,下载cuda安装文件
此时下载的 CUDA中包含有 nvidia 显卡驱动,在安装过程中选择不再安装 nvidia 显卡驱动
- 执行安装命令(不使用vnc桌面环境安装):
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs #替换为相应的文件名
执行此命令约1分钟后会出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可。一定注意是否安装显卡驱动时选择n,其余正常情况选y
- 建立软链接:
sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda/
- 修改配置文件:
sudo gedit ~/.bashrc
- 添加下边两行:
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
- 使配置生效:
source ~/.bashrc
- 查看是否安装成功(出现pass就成功了)
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
- 查看cuda版本:
nvcc -V
cuda多版本切换
同时安装了cuda9和cuda8等,将上步的cuda8切换到cuda9
sudo rm -rf /usr/local/cuda #删除cuda8的软链接
sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda/
nvcc -V
cudnn配置
安装cudnn
官网下载cuda对应版本:https://developer.nvidia.com/rdp/cudnn-archive
- 下载解压得到cudnn的文件夹(名为cuda):
tar -xzvf cudnn-8.0-linux-x64-v6.tgz
- 复制cudnn文件到cuda里:
sudo cp cuda/lib64/* /usr/local/cuda/lib64/
sudo cp cuda/include/* /usr/local/cuda/include/
- 此时虽然装好了但之后配置caffe tf等还是可能会报错找不到cudnn,保险起见:
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.6 #删除原有动态文件
sudo ln -s libcudnn.so.6.0.21 libcudnn.so.6 #生成软衔接,注意文件里具体的版本
sudo ln -s libcudnn.so.6 libcudnn.so #生成软链接
cuda、cudnn相关命令
nvidia-smi #查看显卡驱动版本及使用情况
nvcc –V #或者nvcc –version #查看cuda版本
which nvcc #查看cuda位置
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#查看cudnn版本
Anaconda配置
安装anaconda
安装caffe、tensorflow、pytorch等深度学习框架都使用anaconda安装,可以安装不同版本,相互之间不影响
- 下载anaconda安装文件,以安装3.5版本为例:
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh
其他版本可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/自行查找,使用清华源较快
sudo bash Anaconda3-5.0.0-Linux-x86_64.sh
按回车确定安装位置等信息
- 添加国内源(例子是中科大源,可添加其他的):
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes
conda相关命令
conda update -n base conda #update最新版本的conda
conda create -n xxxx python=3.7 #创建python3.5名为xxxx的虚拟环境
conda activate xxxx #开启xxxx环境
conda deactivate #关闭环境
conda env list #显示所有的虚拟环境
conda info --envs #显示所有的虚拟环境
conda remove –n xxxx --all #删除某虚拟环境
conda remove --name huanjing_name bao_name #删除环境中某个包
深度学习框架安装
conda安装pytorch
- 创建名为pytorch-0.1,python版本为3.6的虚拟环境
conda create –n pytorch-1.0.1 python=3.6
- 进入相应的虚拟环境中
conda activate pytorch-1.0.1
- 要安装较老的固定版本的话,最好先在虚拟环境中安装系统cuda版本对应的cuda toolkit,系统cuda——conda安装的cudatoolkit——pytorch版本 一定要对应:
conda install cudatoolkit==8.0
- 安装固定版本pytorch:
conda install pytorch=1.0.1 torchvision=0.2.1
网上教程会在后边加上-c pytorch,这是从官方源下载很慢,去掉的话从国内源下载
安装caffe
未使用conda安装过,直接安装方法如下,修改的相关配置文件可参考/home/user/caffe/:
安装opencv
- 安装依赖:
sudo apt-get update
sudo apt-get install libopencv-dev build-essential checkinstall cmake pkg-config #还有其他挺多的…具体可以看安装中提示
安装ffmpeg
sudo add-apt-repository ppa:jon-severinsson/ffmpeg
sudo apt-get update
sudo apt-get install ffmpeg
sudo apt-get install frei0r-plugins
- 进入官网 : http://opencv.org/releases.html, 下载3.4.0版本
- 进行编译安装:
cd opencv-3.4.0/
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE –D CMAKE_INSTALL_PREFIX=/usr/local ..
make –j8
sudo make install
- 查看是否安装成功:
pkg-config --modversion opencv
安装caffe
- 下载caffe官方版本:
git clone https://github.com/BVLC/caffe.git
- 进入caffe文件夹,复制makefile.config.example文件,名为makefile.config:
cp Makefile.config.example Makefile.config
- 修改makefile.config文件:
将 #USE_CUDNN := 1 修改成:
USE_CUDNN := 1
将 #OPENCV_VERSION := 3 修改为:
OPENCV_VERSION := 3
将 #WITH_PYTHON_LAYER := 1 修改为
WITH_PYTHON_LAYER := 1
修改python路径:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
根据下图,注释相关cuda_arch:
- 修改Makefile文件:
将: NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
将:LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5改为:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
- 执行编译:
make all –j8 #显示权限不够前面加sudo
make runtest –j8
编译caffe的python接口
- 进入caffe根目录进行编译:
cd caffe
make pycaffe –j8
- 验证是否编译成功:
python
import caffe
若显示 no module named caffe:
sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc
source ~/.bashrc
其他tips
配置pycharm桌面图标
- 进入桌面文件夹:
cd ~/Desktop
- 新建桌面图标文件
gedit Pycharm.desktop
- 写入以下内容后保存:
[Desktop Entry]
Type=Application
Name=Pycharm
Icon=/home/user/pycharm-2019.2/bin/pycharm.png #改为相应安装位置
Exec=/home/user/pycharm-2019.2/bin/pycharm.sh
MimeType=application/x-py;
Name[en_US]=pycharm
- 右键上述文件-属性-权限:允许此文件作为程序运行