ubuntu14.04+cuda+cudnn+tensorflow-gpu+caffe等深度工具安装小结

最新推荐文章于 2024-04-23 15:40:51 发布

置顶 hjxu2016

最新推荐文章于 2024-04-23 15:40:51 发布

阅读量1.7k

点赞数 1

分类专栏： ubuntu 系统深度框架|TensorFlow & Keras 深度框架|caffe

本文链接：https://blog.csdn.net/hjxu2016/article/details/78672193

版权

ubuntu 系统同时被 3 个专栏收录

61 篇文章 3 订阅

订阅专栏

深度框架|caffe

47 篇文章 1 订阅

订阅专栏

深度框架|TensorFlow & Keras

32 篇文章 8 订阅

订阅专栏

最近一直装系统，装系统，还是多卡GPU的，并且显示器接受不到显卡的输出，也就是高清线没办法从显卡上接到显示器上，为啥呢？我也不知道，总之就是没信号，无奈只能从集显上接普通线到显示器上，以前装过1080ti显卡驱动，也做过笔记http://blog.csdn.net/hjxu2016/article/details/69072779，当时在线安装出现循环登陆问题，只好选择下载run文件安装，这样安装要先禁止ubuntu的集显驱动，理论上显卡能输出高清线就ok，偏偏此多卡gpu的机器显卡上的高清线输出不到屏幕上，导致下载run文件安装驱动，出现屏幕分辨率不正常；而在线安装出现循环登录。。。人生如此忧伤，此时系统已经从ubuntu14.04换到ubuntu16.04.该试过的都试过了。。后来换了ubuntu14.04-mate系统，才解决问题，但还是出现cuda只能root用户调用，不知和解，有解决办法的可以和我讨论一下。下面记录一下安装过程。

系统ubuntu14.04-mate，四块泰坦xp的显卡，安装cuda-8.0，cudnn-6.0，opencv-2.4.9以及gpu版本的caffe和tensorflow，整个安装过程参考大神操作

http://blog.csdn.net/langb2014/article/details/51579491

Basics，大神操作复制粘贴

1、首选装好系统运行下面的代码:

sudo apt-get update    
sudo apt-get upgrade    #这一步我并没有使用
sudo apt-get install build-essential    
sudo apt-get autoremove

碰到的问题：https://linux.cn/article-3874-1.html

问题：我试着通过运行apt-get update命令来再次同步包索引文件，但是却出现了“404 无法找到”的错误，看起来似乎是我不能从先前添加的第三方PPA仓库中获取最新的索引。我怎样才能清除这些破损而且陈旧的PPA仓库呢？

Err http://ppa.launchpad.net trusty/main amd64 Packages
404 Not Found
Err http://ppa.launchpad.net trusty/main i386 Packages
404 Not Found
W: Failed to fetch http://ppa.launchpad.net/finalterm/daily/ubuntu/dists/trusty/main/binary-amd64/Packages 404 Not Found

W: Failed to fetch http://ppa.launchpad.net/finalterm/daily/ubuntu/dists/trusty/main/binary-i386/Packages 404 Not Found

E: Some index files failed to download. They have been ignored, or old ones used instead.

当你试着更新APT包索引时，“404 无法找到”错误总是会在版本更新之后发生。就是说，在你升级你的Ubuntu发行版后，你在旧的版本上添加的一些第三方PPA仓库就不再受新版本的支持。在此种情况下，你可以像下面这样来鉴别并清除那些破损的PPA仓库。

首先，找出那些引起“404 无法找到”错误的PPA。

$ sudo apt-get update|grep"Failed"

$ sudo add-apt-repository--remove ppa:finalterm/daily

你得去重复重复再重复，把上面找到的所有过时的PPA仓库一个一个地移除。

如果在GUI中删除的话，https://itsfoss.com/how-to-remove-or-delete-ppas-quick-tip/

这样就解决了。

2、安装git

sudo apt-get install git

Nvidia Drivers

1、找机子的显卡

lspci | grep -i nvidia

2、自己下载Nvidia-375.run或在线安装

本教程选择在线安装

sudo add-apt-repository ppa:graphics-drivers/ppa  
sudo apt-get update  
sudo apt-get install nvidia-375

也可以下载nvidia.run文件安装，以前写过笔记http://blog.csdn.net/hjxu2016/article/details/69072779

3、重启

sudo shutdown -r now

4、nvidia检查

cat /proc/driver/nvidia/version

CUDA

1、下载CUDA-8.0，由于我直接拿的实验室之前的cuda-8.0的deb文件，所以并没有从网上下载。大家需要先下载cuda-ubuntu×.deb文件，然后安装就可以了

    sudo dpkg -i cuda-repo-ubuntu1404*amd64.deb  
    sudo apt-get update  
    sudo apt-get install cuda

2、添加CUDA环境

    echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc  
    echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc  
    source ~/.bashrc

3、检查CUDA版本

nvcc -V

4、重启

sudo shutdown -r now

Checking your CUDA Installation (Optional)

1、编译cuda的sample:注意这边路径问题

    /usr/local/cuda/bin/cuda-install-samples-7.5.sh ~/cuda-samples  
    cd ~/cuda-samples/NVIDIA*Samples  
    make -j $(($(nproc) + 1))

2、查看显卡里面的信息

bin/x86_64/linux/release/deviceQuery

cuDNN

1、安装cudnn_v5，首先需要下载cudnn然后下面操作

    cd ~/Downloads/  
    tar xvf cudnn*.tgz  
    cd cuda  
    sudo cp */*.h /usr/local/cuda/include/ 
    sudo cp */libcudnn* /usr/local/cuda/lib64/  
    sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

中间出现过×.so不是符号链接的问题，后面有介绍
http://blog.csdn.net/langb2014/article/details/54376716

Check

1、终端查看

nvidia-smi

Tensorflow

1、tensorflow我选择的在线安装

sudo apt-get install python-pip python-dev

2、如果中途安装不了可以先下载那个网址东西，下载好了，然后安装，中途会有几个包的numpy、six、protobuf、wheel下载安装比较慢或者下载不了，可以单独安装。

sudo pip install tensorflow-gpu==1.2

如果网速有点慢的话推荐使用清华镜像，参考地址 https://mirrors.tuna.tsinghua.edu.cn/help/tensorflow/

具体操作如下，权限不够加sudo

pip install \
  -i https://pypi.tuna.tsinghua.edu.cn/simple/ \
  https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/tensorflow_gpu-1.4.0-cp36-cp36m-linux_x86_64.whl

3、测试Tensorflow

python  
>>> import tensorflow as tf  
>>> exit()

5、推荐IDE调试工具

pyCharm免费的社区版（community release）不支持远程调试，百度下载然后到bin里面，运行pycharm安装文件就可以了。

OpenBLAS

1、先下载git，然后安装OpenBLAS

[cpp] view plain copy

mkdir ~/git
cd ~/git
git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
sudo apt-get install gfortran
make FC=gfortran -j $(($(nproc) + 1))
sudo make PREFIX=/usr/local install

2、添加lib库的变量路径

[cpp] view plain copy

echo 'export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH' >> ~/.bashrc

Common Tools

1、安装来自Scipy的普通tools

[cpp] view plain copy

sudo apt-get install -y libfreetype6-dev libpng12-dev
pip install -U matplotlib ipython[all] jupyter pandas scikit-image

2、如果安装matplotlib时无法安装，按照下面方法：

先下载:here

然后减压matplotlib-1.5.0，并进入matplotlib-1.5.0里面

最后运行

[cpp] view plain copy

python setup.py build
python setup.py install

OpenCV

我安装的opencv版本是2.4.9，因为CUDA版本比较新，所以opencv版本不能太新，3.x的编译不支持（已测试）

安装opencv以前写过笔记http://blog.csdn.net/hjxu2016/article/details/70946094

注意，我把上面的qt选项关了。

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_CUDA=OFF -D WITH_OPENMP=ON -D WITH_QT=OFF ..

Caffe

1、caffe相信大家都很熟悉了，下面是一些基础依赖库，如果出现不能下载，那就一个一个下载

    sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler  
    sudo apt-get install --no-install-recommends libboost-all-dev  
    sudo apt-get install python-skimage ipython python-pil python-h5py ipython python-gflags python-yaml  
    sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2、克隆caffe

    cd ~/git  
    git clone https://github.com/BVLC/caffe.git  
    cd caffe  
    cp Makefile.config.example Makefile.config

3、如果安装了cuDNN然后把Makefile文件的USE_CUDNN := 1注释去掉

sed -i 's/# USE_CUDNN := 1/USE_CUDNN := 1/' Makefile.config

4、如果安装了OpenBLAS，修改BLAS参数

[cpp] view plain copy

sed -i 's/BLAS := atlas/BLAS := open/' Makefile.config

5、安装需求build和测试caffe，编译PyCaffe

    sudo pip install -r python/requirements.txt  
    make all -j $(($(nproc) + 1))  
    make test -j $(($(nproc) + 1))  
    make runtest -j $(($(nproc) + 1))  
    make pycaffe -j $(($(nproc) + 1))

6、添加caffe的环境变量

    echo 'export CAFFE_ROOT=$(pwd)' >> ~/.bashrc  
    echo 'export PYTHONPATH=$CAFFE_ROOT/python:$PYTHONPATH' >> ~/.bashrc  
    source ~/.bashrc

7、测试caffe接口

ipython  
>>> import caffe  
>>> exit()

下面的都是转载的，没有亲测过

Theano

1、安装Theano

[cpp] view plain copy

sudo apt-get install python-numpy python-scipy python-dev python-pip python-nose g++ python-pygments python-sphinx python-nose
sudo pip install Theano

2、测试接口

[cpp] view plain copy

python
>>> import theano
>>> exit()

Keras

1、这个编译器(关于Theano和Tensorflow)不是很熟悉，顺便安装一下试试。默认是Theano，如果想换Tensorflow，可以按照here.

[cpp] view plain copy

sudo pip install keras

Torch

1、这个是facebook的深度框架

[cpp] view plain copy

git clone https://github.com/torch/distro.git ~/git/torch --recursive
cd torch; bash install-deps;
./install.sh

2、添加环境变量

[cpp] view plain copy

source ~/.bashrc

3、推荐IDE工具eclipse，安装相应的插件(Lua Development Tools)

首先安装eclipse c/c++的开发版，然后在官网搜索Lua，看到LDT就点进去，找到Existing Eclipse installation，按照官网指示安装插件，就ok了。

Mxnet

mxnet是cxxnet的下一代，目前实现了cxxnet所有功能，但借鉴了minerva/torch7/theano，加入更多新的功能。

ndarray编程接口，类似matlab/numpy.ndarray/torch.tensor。独有优势在于通过背后的engine可以在性能上和内存使用上更优
symbolic接口。这个可以使得快速构建一个神经网络，和自动求导。
更多binding 目前支持比较好的是python，马上会有julia和R
更加方便的多卡和多机运行
性能上更优。目前mxnet比cxxnet快40%，而且gpu内存使用少了一半。

目前mxnet有更多的binding，更好的文档，和更多的应用（language model、语音，机器翻译，视频）。
1、安装依赖库

[cpp] view plain copy

sudo apt-get update
sudo apt-get install -y build-essential git libatlas-base-dev libopencv-dev

2、安装mxnet

将mxnet/目录里找到mxnet/make/子目录，把该目录下的config.mk复制到mxnet/目录，用文本编辑器打开，找到并修改以下两行：

USE_CUDA = 1

USE_CUDA_PATH = /usr/local/cuda

[cpp] view plain copy

git clone --recursive https://github.com/dmlc/mxnet
cd mxnet

[cpp] view plain copy

make -j $(($(nproc) + 1))

X2Go

1、X2GO是一个远程控制桌面，下面是安装教程

[cpp] view plain copy

sudo apt-get install software-properties-common
sudo add-apt-repository ppa:x2go/stable
sudo apt-get update
sudo apt-get install x2goserver x2goserver-xsession

2、X2Go 不支持Unity desktop environment (the default in Ubuntu)

[cpp] view plain copy

sudo apt-get update
sudo apt-get install -y xfce4 xfce4-goodies xubuntu-desktop

3、找使用机子的IP

[cpp] view plain copy

hostname -I

自己在CUDA cudnn这一块出现错误了‘’/sbin/ldconfig.real: /usr/local/cuda-8.0/targets/x86_64-linux/lib/libcudnn.so.4 不是符号连接‘’

然后在终端输入：

[python] view plain copy

sudo ldconfig -v

找到这一行错误：libcudnn.so.4 -> libcudnn.so.4.0.7

是这个链接错误，然后在终端输入：

[python] view plain copy

sudo ln -sf /usr/local/cuda-8.0/targets/x86_64-linux/lib/libcudnn.so.4.0.7 /usr/local/cuda-8.0/targets/x86_64-linux/lib/libcudnn.so.4

问题就解决了。。。。。。。。。。。。。

=================================================================================================================

http://stackoverflow.com/questions/43016255/libegl-so-1-is-not-a-symbolic-link

出现的问题

/sbin/ldconfig.real: /usr/lib/nvidia-375/libEGL.so.1 不是符号连接
/sbin/ldconfig.real: /usr/lib32/nvidia-375/libEGL.so.1 不是符号连接

原因：

系统找的是一个符号连接，而不是一个文件。

解决方法：

sudo mv /usr/lib/

nvidia-375/libEGL.so.1 /usr/lib/nvidia-375/libEGL.so.1.org
sudo mv /usr/lib32/nvidia-375/libEGL.so.1 /usr/lib32/nvidia-375/libEGL.so.1.org
sudo ln -s /usr/lib/nvidia-375/libEGL.so.375.39 /usr/lib/nvidia-375/libEGL.so.1
sudo ln -s /usr/lib32/nvidia-375/libEGL.so.375.39 /usr/lib32/nvidia-375/libEGL.so.1

=====================================================================================================

hjxu2016

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
ubuntu14.04+cuda+cudnn+tensorflow-gpu+caffe等深度工具安装小结

最近一直装系统，装系统，还是多卡GPU的，并且显示器接受不到显卡的输出，也就是高清线没办法从显卡上接到显示器上，为啥呢？我也不知道，总之就是没信号，无奈只能从集显上接普通线到显示器上，以前装过1080ti显卡驱动，也做过笔记http://blog.csdn.net/hjxu2016/article/details/69072779，当时在线安装出现循环登陆问题，只好选择下载run文件安装，这样安
复制链接

扫一扫