caffe 调用多块gpu

一.检测配置
使用命令查看机器里面安装了几块显卡

nvidia-smi 

二.更改配置文件
在查看到机器里面安装的显卡不止一块时，就可以通过更改配置文件，在编译通过后，就可以使用多个gpu同时运行。

设置Makefile.config
打开开关： USE_NCCL := 1， 并添加nccl库路径

USE_NCCL := 1   #将之前的注释去掉，打开开关。
INCLUDE_DIRS += /path/nccl/build/include   #在原有的路径下方加上这句话即可
LIBRARY_DIRS += /path/nccl/build/lib

三.安装NCCL

git clone https://github.com/NVIDIA/nccl.git
cd nccl
sudo make install
sudo gedit ~/.bashrc
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/home/XXX/nccl/build/lib/"  #XXX为用户名
source .bashrc

在安装好以后，我们重新编译caffe即可

cd caffe
sudo make all
sudo make test
sudo make pycaffe
sudo make runtest

四.使用多个gpu
我们在使用caffe的工具训练网络时，在语句的最后加上以下内容即可

-gpu all  #运行所有的gpu
-gpu 1,2  #运行1号2号gpu