Ubuntu深度学习+pytorch+caffe环境搭建

系统配置

系统：Ubuntu18.04
显卡：1060Ti
CUDA102

1.系统安装

不做介绍

2.显卡驱动安装

好几种方法安装显卡驱动，CUDA10.0支持的显卡驱动是410及以上版本。Ubuntu仓库方法安装的是390；官网下载驱动安装复杂且太容易出错（我没装成功）
所以我使用的是PPA仓库自动安装

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
ubuntu-drivers devices
sudo apt install XX

XX是显示的驱动版本，我装的的是410
重启系统，会出现一个蓝色背景的界面 perform mok management , 正确的做法如下：
选择 enroll mok ,
进入enroll mok 界面，选择 continue ,
进入enroll the key 界面，选择 yes ,
接下来输入你在安装驱动时输入的密码，
之后会跳到蓝色背景的界面perform mok management 选择第一个 reboot

nvidia-smi

禁用Nouveau驱动程序（我没有执行这一步）

lsmod | grep nouveau
gedit /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset = 0
sudo update-initramfs -u

3.安装CUDA

cd进入存放文件的文件夹

sudo sh cuda_10.0.130_410.48_linux.run

是否驱动时选择no
安装好之后设置环境变量

sudo gedit ~/.bashrc
export PATH="/usr/local/cuda-10.0/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH"
source ~/.bashrc

验证时候安装成功

nvcc -V

安装正确则出现CUDA版本号

4.安装cuDNN

进入目录

sudo dpkg -i libcudnn7_7.0.3.11-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-devel_7.0.3.11-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.0.3.11-1+cuda9.0_amd64.deb

验证安装

cp -r /usr/src/cudnn_samples_v7/ $HOME
cd  $HOME/cudnn_samples_v7/mnistCUDNN
make clean && make
./mnistCUDNN

结果为：Test passed!则成功

5.Anaconda安装

cd进入文件所在文件夹

bash Anaconda3-2018.12-Linux-x86_64.sh

用法

conda create -n <名字> python=3.6 
conda remove -n <名字> --all
source activate <名字>
source deactivate

6.caffe安装（以下步骤能成功但是重启之后系统玩完）

下面语句开始时没装，就开始安装依赖项，结果到make runtest时出错

sudo apt install caffe-cuda

安装依赖项

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev
sudo apt-get install libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

下载文件

git clone https://github.com/BVLC/caffe.git

配置Makefile.config文件

cd caffe
cp Makefile.config.example Makefile.config
gedit Makefile.config

修改内容如下

USE_CUDNN:= 1
OPENCV_VERSION := 3
CADA_ARCH:(删除前两行)
BLAS := open
#注释原python路径，使用anaconda路径
ANACONDA_HOME := $(HOME)/anaconda3/envs/caffe(自己创建的路径)
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
		$(ANACONDA_HOME)/include/python2.7 \
		$(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include
#PYTHON_LIB := /usr/lib
PYTHON_LIB := $(ANACONDA_HOME)/lib
WITH_PYTHON_LAYER := 1
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial

修改Makefile文件

#NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
#LIBRARIES += glog gflags protobuf boost_system boost_filesystem m
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

安装必要的python库
进入caffe下的python文件夹

for req in $(cat requirements.txt); do pip install $req; done

进入caffe文件夹进行编译

make all -j4
make test -j8
make runtest -j8
make pycaffe -j8

在make runtest时出错

/etc/ld.so.conf.d
touch anaconda3.conf
sudo vim anaconda3.conf	//打开文件
输入以下内容：
/home/user/anaconda3/envs/caffe/lib（自己的路径）

添加环境变量

vim ~/.bashrc
export PYTHONPATH=~/caffe-master/python:$PYTHONPATH

然后import caffe时会出现问题，缺什么文件百度 pip安装即可。我的缺少scikit-image和protobuf

pip install scikit-image protobuf

8.补充说明

进入文本模式：Ctrl+Alt+F3
注意：输入密码时不要用小键盘输入数字，会提示密码错误
与Windows文件共享安装samba

apt卸载清理命令

apt-get purge name	
apt-get --purge remove name
apt-get autoremove
apt-get autoclean
apt-get clean

pytorch

安装pytorch使用官网命令安装完导致torch.cuda.is_available()返回结果为Flase
原因：官网当前本版安装的cudatoolkit：10.1，（我系统安装的也是10.1，检查过驱动版本大于10.1要求的版本），出现错误可能是10.1与pytorch版本不匹配。
解决：卸载了pytorch等，使用命令conda install pytorch安装，自动安装cudatoolkit ：10.0版本，再次执行torch.cuda.is_available()返回为True。