Horovod安装，bert多GPU训练（非root用户）

运维咸鲅鱼

已于 2022-04-28 17:22:35 修改

阅读量3.5k

点赞数

分类专栏： bert 文章标签： bert tensorflow 深度学习

于 2022-03-16 14:44:16 首次发布

本文链接：https://blog.csdn.net/qq_42859980/article/details/123525888

版权

本文详细介绍了非root用户在Linux环境下，如何在conda虚拟环境中安装Horovod并进行BERT的多GPU训练。涉及到的步骤包括安装CUDA、Anaconda、conda虚拟环境配置、GCC升级、解决依赖问题以及错误排查。特别强调了Horovod的环境配置，如tensorflow_gpu、pytorch、nccl等版本匹配，以及遇到的如`libstdc++.so.6`和`GLIBC_2.14`缺失的问题及其解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Horovod安装，bert多GPU训练（非root用户）

linux环境：

conda虚拟环境部署，cuda版本10.0，GCC == 4.8.5

（gcc与tensorflow_gpu版本依赖，原gcc==4.8.5）如下安装方式可不升级gcc版本，已验证

1. 包依赖情况

conda install（主要依赖包）

tensorflow_gpu=1.15.0 参考连接：https://tensorflow.google.cn/install/source#gpu
cuDNN=7.4 （安装过程中发现cdDNN==7.6也可以正常使用）
pytorch=1.2.0 （此版本与cuda版本依赖）参考连接：https://pytorch.org/get-started/previous-versions/#linux-and-windows-18
nccl=2.4 （对应cuda10.0版本）
**openmpi=4.0.2 (也可以使用mpi4py=3.0相当于openmpi，mpi4py Conda 包，它提供了 OpenMPI 的 CUDA 感知构建，但是测试他有些小问题)

pip install

horovod==0.19.*
mxnet-cu100mkl==1.5.* （带 CUDA-10.0支持和mkldnn支持，cu100代表cuda10.1，cu101代表cuda10.1）

2. cuda安装(root用户安装)

安装

下载地址：https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Linux&target_arch=x86_64&target_distro=CentOS&target_version=7&target_type=runfilelocal

在这里插入图片描述

sh cuda_10.0.130_410.48_linux.run

只选择安装CUDA Toolkit 即可，无需安装驱动

普通用户添加环境变量

# su xxxx
# vim ~/.bashrc
export CUDA_HOME=/usr/local/cuda
PATH=/usr/local/cuda/bin:/data/userhome/xx/gcc-7.3/

最低0.47元/天解锁文章