双系统win10+ubuntu 14.04安装与软件配置+深度学习平台环境搭建

双系统win10+ubuntu 14.04安装与软件配置+深度学习平台环境搭建

安装windows 10

下载安装包之后制作U盘启动盘 安装在SSD128GB上,数据盘HDD1T.

之后装一些必备软件
- python, Jupiter notebook
- MATLAB (正版软件平台)/R/Mathematica/Maple/Mathcad
- latex (e.g. 本地CTEX+Texmaker, 在线overleaf/ShareLaTeX)
- sublime text/notepad++
- mendeley/endnote
- MobaXterm + Teamviewer + window 自带远程桌面
- 有道云笔记(或为知笔记,印象笔记)
- MS office (正版软件平台)
- chrome,firefox, …
- VS2013
- Git, Github 客户端 …

安装Ubuntu 14.04

首先在Win10磁盘管理中空出1个SSD128GB和另外1T HDD的空间
- swap:32G SSD (内存的一半)
- /:88G SSD (剩余SSD)
- /home:1T HHD

以后重装系统只需要格式化 / 分区就可以了,可以保留用户数据。

然后下载Ubuntu镜像后制作U盘启动盘,电脑设置从U盘启动

显示器分辨率问题

安装完毕后Ubuntu 14.04的分辨率很低,在显卡驱动未安装之前,可以手动修改一下grub文件, 更新之后重启:

sudo gedit /etc/default/grub
# The resolution used on graphical terminal
# note that you can use only modes which your graphic card supports via VBE
# you can see them in real GRUB with the command `vbeinfo’
# GRUB_GFXMODE=640×480
# 这里分辨率自行设置,改为高清
GRUB_GFXMODE=1920×1080
sudo update-grub

安装显卡(GTX1080/TITAN Xp)驱动

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

如果出现Hash sum mismatch 则挂载VPN重新更新

sudo apt-get install nvidia-367
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev

之后重启系统让显卡驱动生效。

或者用.run文件安装

安装软件

更新Ubuntu源,用Sofeware & Update 选择,或者手动(e.g. 中科大的源):

cd /etc/apt/
sudo cp sources.list sources.list.bak
sudo gedit sources.list

把源添加到source.list文件头部,最后更新源和更新已安装的包:

sudo apt-get update
sudo apt-get upgrade

上网,同步firefox书签, 插件https everywhere

老D 修改hosts or ShadowsocksR VPN?

127.0.0.1 localhost 后额外添加 ldq-Ubuntu;

sogoupinyin

chrome

sublime text

MATLAB, Anaconda, Pycharm, Teamviewer

virtualenv

CUDA, cuDNN

runfile安装方案

下载的“cuda_8.0.44_linux.run”有1.4G,按照Nivdia官方给出的方法安装CUDA8 (如果报错加–tmpdir=/opt/temp/):

sudo sh cuda_8.0.27_linux.run

执行后会有一系列提示让你确认,非常关键的地方是

是否安装361这个低版本的驱动:Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?

答案必须是n,否则之前安装的GTX1080驱动就白费了,而且问题多多。

安装完毕后,再声明一下环境变量,并将其写入到 ~/.bashrc 的尾部:

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

最后再来测试一下CUDA,运行:

nvidia-smi

再来试几个CUDA例子:

cd 1_Utilities/deviceQuery
make
./deviceQuery
cd ../../5_Simulations/nbody/
make
./nbody -benchmark -numbodies=256000 -device=0

deb方案

sudo dpkg -i cuda-repo-ubuntu1404-7-5-local_7.5-18_amd64.deb
sudo apt-get update
sudo apt-get install cuda
echo 'export PATH=/usr/local/cuda-7.5/bin:$PATH' >> ~/.bashrc;
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc;
source ~/.bashrc

CUDNN安装

copy文件至CUDA安装目录:解压后,在你的目录下生成一个“cuda”文件夹。使用如下命令copy,注意第二个有个-a参数,否则,拷贝过去的文件失去了链接。

gzip -d cudnn-7.0-linux-x64-v4.0-prod.tgz
tar xf cudnn-7.0-linux-x64-v4.0-rc.tar
# copy the library files into CUDA's include and lib folders
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp -a cuda/lib64/libcudnn* /usr/local/cuda/lib64

使用深度学习平台时 cuDNN not available 是由于cudnn.h 的权限问题,可用chmod修改

nvcc -V 或者 cat /usr/local/cuda/version.txt 查看cuda版本

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 查看cudnn版本

opencv 安装与配置,使用

官方文档

pkg-config –modversion opencv 查看系统中现有opencv版本

opencv3.1.0(在cuda8.0) cmake出错,在github版本中已修改。

Pytorch, Tensorflow, Keras, Caffe, MatConvNet, Theano, MXNet, etc.

Ubuntu 14.04 + GTX 1080 + CUDA 8.0 + cuDNN + Caffe, Keras, Theano, Tensorflow, PyTorch

Pytorch, Tensorflow, Keras在虚拟环境下安装

mkdir research-envs
cd research-envs
virtualenv --no-site-packages -p python3.5 research-envs
source research-envs/bin/activate
# pip install theano==0.9.0 # 1.0 has some problems.
# modify ~/.theanorc http://deeplearning.net/software/theano/library/config.html
pip install tensorflow-gpu==1.4  # vrsion >= 1.5 needs cuda9.0
pip install keras # modify backend to Tensorflow, https://keras.io/backend/
pip install torch torchvision
deactivate

Caffe安装

参看集群文档~Caffe 环境配置 ,该博客还有关于集群PBS使用的说明,另slurm作业系统使用

Caffe+Ubuntu+CUDA,
NVIDIA DIGITS + Ubuntu + CUDA + cuDNN + Caffe

重装前 make clean
0. 下载解压
1. 安装依赖

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install python-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
  1. Makefile.config 配置:根据需要修改Makefile.config.example,

如果用的是opencv 3 还得在 Makefile 中

add the opencv_imgcodecs to the MakeFile in line 195(最新版本已经改过来)

ifeq ($(OPENCV_VERSION), 3)
        LIBRARIES += opencv_imgcodecs
    endif

然后

cp Makefile.config.example Makefile.config
# Adjust Makefile.config (for example, if using Anaconda Python, 
# or if cuDNN is desired)
make all -j8
make test -j8
make runtest -j8
sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags python-yaml Cython ipython

之后修改Makefile.config中python和matlab路径

Compile the Python and MATLAB wrappers, as well as create a distribute directory with all the Caffe headers, compiled libraries, binaries, etc. needed for distribution to other machines.

make pycaffe -j8
make matcaffe -j8
make distribute -j8
  1. Ubuntu14.04自带的gcc版本是4.8,MATLAB2015b支持的最高版本为4.7x。因此,需要安装gcc4.7,并给gcc降级
    在终端执行gcc 4.7的安装命令并执行以下系统gcc降级命令:
sudo apt-get install gcc-4.7 g++-4.7 g++-4.7-multilib gcc-4.7-multilib

sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.7 100 
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.8 50 
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.7 100 
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.8 50
sudo update-alternatives --install /usr/bin/cpp cpp-bin /usr/bin/cpp-4.7 100
sudo update-alternatives --install /usr/bin/cpp cpp-bin /usr/bin/cpp-4.8 50

验证gcc-4.7是否安装并成为系统的默认版本:gcc -v

  1. 把caffe 添加到 python 和 MATLAB 路径
sudo gedit ~/.bashrc

加入export PYTHONPATH=$PYTHONPATH:/home/ldq/caffe/python

同理,对应的也把caffe加入matlab搜索路径

  1. 使用例子

libsvm, liblinear, liblinear-multicore-2.1-4, GPU-SVM, cuSVM, etc.

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页