centos7安装CUDA11.2+CUDNN8.1+tensorflow2.4

环境:

系统:centos7

CPU:Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz 36核

GPU:Tesla V100*4

查看CPU信息:cat /proc/cpuinfo

查看GPU信息:nvidia-smi

一、安装CUDA11.2

参照该博客

附:TensorFlow/cuda版本对照:

官方文档版本对照链接

二、安装TensorFlow2.4

pip install tensorflow-gpu==2.4

安装验证:

import tensorflow as tf

tf.test.is_gpu_available()

此时返回

发现无法启动GPU

三、解决找不到libcusolver.so.10的问题

cd /usr/local/cuda/lib64  # 进入库文件夹
ls -al 
mv libcusolver.so.11 libcusolver.so.10

即可解决

四、安装CUDNN

从该链接下载安装文件

虽然我们的系统是centos,但是要下载Linux通用版本,不要下载centos RPM版

下载完成后 tar -zxvf 将文件解压,然后执行下列代码

(根据自己安装的目录适当改动)
# 复制cudnn头文件
sudo cp cuda/include/* /usr/local/cuda/include/
# 复制cudnn的库
sudo cp cuda/lib64/* /usr/local/cuda/lib64/
# 添加可执行权限
sudo chmod +x /usr/local/cuda/include/cudnn.h
sudo chmod +x /usr/local/cuda/lib64/libcudnn*

再验证tensorflow 2.4,GPU服务启动成功

跑了以前基于TensorFlow1.14的代码、以及bert4keras的代码,均可以正常运行

五、TensorFlow GPU设置

5.1 使用CPU或指定单GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"  # 不添加该变量默认使用GPU,-1使用cpu,其他数值使用指定GPU

5.2 使用多GPU

import tensorflow as tf
strategy = tf.distribute.MirroredStrategy()

print('Number of devices: {}'.format(strategy.num_replicas_in_sync))
with strategy.scope():
    model=create_model()
    model.compile()

经验证,在同一数据集上对bert进行fine tune,使用CPU、单GPU、4GPU的训练时间分别为:

36核CPU 2219 单GPU 273s 4GPU 547s

4GPU用的时间比单GPU还长,可能是有些参数设置不对,研究后再来更新

 

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值