openMPI with CUDA

openMPI 1.7之后的版本才支持CUDA，建议下载最新的版本来获取最好的性能

对于1.7~2.0的版本， 配置和编译、安装如下：

sudo ./configure --prefix=<用户指定的openMPI的安装目录>  --with-cuda=<cuda的include目录> --with-cuda-libdir=<cuda的lib64目录>

sudo make all install

 

而对于2.0以及以上的版本，则要下面的命令：

We recommend UCX1.4 built with gdrcopy for the most updated set of MPI features and for better performance.

1. Configure and build UCX to provide CUDA support

1 2	shell$ ./configure --prefix=/path/to/ucx-cuda-install --with-cuda=/usr/local/cuda --with-gdrcopy=/usr shell$ make -j8 install

2. Configure and build Open MPI to leverage UCX CUDA supprt

1 2	shell$ ./configure --with-cuda=/usr/local/cuda --with-ucx=/path/to/ucx-cuda-install shell$ make -j8 install

编译命令如果和版本不一致，会导致运行程序的时候出各种奇怪的错误，缺少动态库