在集群上配置cuda环境

4 篇文章 0 订阅
预备

查看系统版本

cat /etc/redhat-release

得到: CentOS Linux release 7.6.1810 (Core)

一.GPU DRIVER 安装

GPU driver 的版本要高于将要安装的cuda toolkit要求的gpu driver最低版本.并且安装需要管理员权限.集群上已经安装好了gpu driver,版本为450.80.02.

二.cuda toolkit 安装

原本准备使用conda来安装,但是安装后并没有nvcc.根据这里才知道, conda只是安装了一些runtime 函数库,因此选择手动安装.

在nvidia官网上,根据driver的版本安装符合要求的cuda toolkit 最新版本,所有cuda toolkit的历史版本在这里 .最终下载了cuda_11.0.2_450.51.05,并且在本地安装:

安装流程

  1. 运行.run文件

     sh cuda_11.0.2_450.51.05_linux.run 
    

    显示错误信息:

     Extraction failed.
    Ensure there is enough space in /tmp and that the installation package is not corrupt
    Signal caught, cleaning up
    

    应当是tmp空间不足引起的,根据这里找到解决办法.使用export TMPDIR=/home/quejinlong/tmp把tmp目录暂时设置在一个空间大的地方.
    再次运行.run文件,仍然显示相同错误.那可能是提示中说的第二个错误,使用md5sum检查文件的完整性.

    md5sum cuda_11.0.2_450.51.05_linux.run
    

    输出为

    b9n68b1d1eb6e78e20d1f92430a7f2d1  cuda_11.0.2_450.51.05_linux.run
    

    如下图,在官网下载界面寻找官方提供的校验码,发现不一致.重新下载,运行,成功进入安装界面.
    在这里插入图片描述

    进入安装界面之后,安装toolkit和sample即可,注意,因为是使用非root用户安装,所以在安装过程中要重新设置安装路径为本地目录,重新设置路径的地方有:1)cuda toolkit 2)sample 3)cuda library,具体参考[1]

  2. 测试安装是否成功
    在安装的sample里面,随便选择一个,修改Makefile里面的CUDA_PATH路径为自己安装cuda的路径.


参考

[1]非root用户在服务器上安装CUDA和cudnn到指定目录

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Hadoop集群安装配置神经网络,需要执行以下步骤: 1. 安装Java:在Hadoop集群安装Java是必要的,因为许多神经网络框架都需要Java来运行。确保在所有机器上安装相同版本的Java。 2. 安装CUDA和cuDNN:如果你使用的是GPU来训练神经网络,那么你需要在Hadoop集群安装CUDA和cuDNN。这些软件包可以从NVIDIA官网下载,安装时需要遵循官方指南。 3. 安装Python:如果你使用的是Python来编写神经网络代码,那么你需要在Hadoop集群安装Python。确保在所有机器上安装相同版本的Python,并安装所需的Python库。 4. 安装配置分布式文件系统:Hadoop集群使用分布式文件系统来存储数据和模型。你需要安装配置HDFS(Hadoop分布式文件系统)来存储训练数据和模型。 5. 安装配置分布式计算框架:你需要在Hadoop集群安装配置分布式计算框架,如Apache Spark或Apache Flink。这些框架可以让你在集群中分布式地训练神经网络。 6. 配置环境变量:确保在所有机器上设置正确的环境变量,以便可以正确地访问安装的软件和库。 7. 测试:在配置完所有软件和环境后,进行测试以确保所有组件都正确安装配置。可以通过运行简单的神经网络代码来测试。 以上是安装配置神经网络所需的基本步骤。具体实现会根据不同的神经网络框架和Hadoop集群配置而有所不同。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值