ubuntu mxnet joint training 机器反复重启

最新推荐文章于 2024-04-09 11:41:49 发布

城俊BLOG

最新推荐文章于 2024-04-09 11:41:49 发布

阅读量303

点赞数

分类专栏： NVIDIA 运维 Linux

本文链接：https://blog.csdn.net/qxqxqzzz/article/details/110423245

版权

Linux 同时被 3 个专栏收录

212 篇文章 26 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

运维

66 篇文章 1 订阅

订阅专栏

NVIDIA

12 篇文章 0 订阅

订阅专栏

在Ubuntu 18.04LTS系统上进行MXNet模型的联合训练时，机器在迭代到4000/6000 batch后频繁重启。经过排查，排除了CPU和显卡温度过高等因素。机器配置包括TITAN RTX显卡和Intel Xeon Silver 4215R CPU。尝试的解决方案包括不在VNC中运行程序，连接备用电源，保留Xorg进程，限制显卡功率以及降低batch size，目前模型已连续运行21小时未重启。

摘要由CSDN通过智能技术生成

ubuntu 18.04LTS
迭代4000/6000 batch之后就会自动重启
从CPU温度，显卡温度等方面没有看出来原因

机器情况：
TITAN RTX * 6, 显卡功率 280x6=1680 W
主板：Supermicro X11DPG-OT
CPU：Intel® Xeon® Silver 4215R CPU @ 3.20GHz， 130x2=260W
电源：2000W/slot, 4 slots, 两主两备，配备=2x2000=4000W

故障排查（看不出错误）：

$ dmesg|grep -i xid
$ dmesg|grep -i error
$ ipmitool sel list
$ nvidia-smi
$ iostat -mx2
$ ipmitool dcmi power reading

目前做法ÿ

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

城俊BLOG

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

ubuntu20.04安装mxnet（看这一篇就够了）

weixin_38410551的博客

07-14

923

ubuntu20.04安装mxnet

mxnet在linux上的安装

zhangweijiqn的专栏

11-17

1万+

mx在linux（包括ubuntu和centos系统上的安装）

参与评论您还未登录，请先登录后发表或查看评论

Linux下安装 mxnet

weixin_34319817的博客

08-10

173

没有仔细看文档，上来看到Cmake很亲切，就看了看CmakeList，改了里面的配置。安装的时候结果各种出错。然后看github上mxnet的Issues发现：cmake is for windows. Use config.mk for linux. 呵呵。。。看文档！！！ Prerequisites cp make/config.mk . 改config.mk的参数如果用o...

linux mxnet 查询_Linux下安装 mxnet

weixin_36311421的博客

01-17

179

没有仔细看文档，上来看到Cmake很亲切，就看了看CmakeList，改了里面的配置。安装的时候结果各种出错。然后看github上mxnet的Issues发现：cmake is for windows. Use config.mk for linux.呵呵。。。看文档！！！cp make/config.mk .改config.mk的参数如果用openBLAS要添加：# the additional...

linux mxnet框架使用,机器学习框架MXnet安装步骤

weixin_42115513的博客

05-16

258

安装环境：redhat7.1+vmw安装步骤：# Install git if not already installed. sudo yum -y install git-all# Clone mxnet repository. In terminal, run the commands WITHOUT "sudo"git clone https://github.com/dmlc/mxnet...

Python库 | sagemaker_mxnet_training-3.1.13.tar.gz

04-14

资源分类：Python库所属语言：Python 资源全名：sagemaker_mxnet_training-3.1.13.tar.gz 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

python mxnet框架下机器学习识别身份证号码.zip

最新发布

04-28

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...

ubuntu安装MXNet GPU版本

qq_35091353的博客

09-05

1263

可编译的mxnet代码

12-22

2. 安装依赖 sudo apt-get update sudo apt-get install -y build-essential git ninja-build ccache libopenblas-dev libopencv-dev cmake 3. 进入mxnet目录，用cmake配置编译环境并编译 cd mxnet cp config/linux.cmake config.cmake mkdir build; cd build cmake .. cmake --build . 4. 安装mxnet python语言绑定 python3 -m pip install --use

mxnet以及dgl的配套安装（linux服务器、GPU版）

weixin_44232639的博客

03-07

2424

mxnet以及dgl的配套安装（linux服务器、GPU版） 1、在确定CUDA正常能够使用的情况下，先查看CUDA的版本，linux服务器上使用 nvcc --version 命令查看，我的是10.1版本的。 2、进入mxnet官网： https://mxnet.apache.org/versions/1.9.0/get_started?platform=linux&language=python&processor=gpu&environ=pip& 根据自身版本的CUD

Linux命令：ipmitool

dl_11的博客

03-29

2479

ipmitool 是一个功能强大的命令行工具，用于管理和监控支持智能平台管理接口（IPMI）的设备。智能平台管理接口 (IPMI) 是一种开放标准的硬件管理接口规格，定义了嵌入式管理子系统进行通信的特定方法。IPMI 信息通过基板管理控制器 (BMC)（位于 IPMI 规格的硬件组件上）进行交流。使用低级硬件智能管理而不使用操作系统进行管理。具有两个主要优点：1）配置允许进行带外服务器管理；2）操作系统不必负担传输系统状态数据的任务。

解决linux中xorg占用gpu问题

xiaohaier8593的博客

02-10

1万+

configuration - Setting BUSID in xorg.conf - Unix & Linux Stack Exchangehttps://unix.stackexchange.com/questions/585910/setting-busid-in-xorg-conf

IPMI22：ipmi——ipmitool使用

master

05-01

1万+

是一个实用程序，用于监视、配置和管理支持智能平台管理接口 (IPMI) 的工具，遵循ipmi协议。它是一个开源项目，项目官网：https://sourceforge.net/projects/ipmitool/，github地址：https://github.com/ipmitool/ipmitool。ipmitool最新的发行版是于2019年6月25日发布的，版本号是1.8.18，通过源码可以编译出windows、linux系统下的ipmitool工具。

关于IPMI的几个问题

热门推荐

翔云

06-19

5万+

IPMI协议被广泛用于服务器监控中，包括采集CPU温度、风扇转速、主板温度，以及远程开关机等等。而且IPMI独立于硬件和操作系统，无论是CPU、BIOS，还是OS出现故障，都不会影响IPMI的工作。因为IPMI的硬件设备BMC(Baseboard Management Controller)是一个独立的板卡，独立供电。使用IPMI监控服务器主要有两种模式：本地和远程。本地监控：需要安装： IPMI驱

MXNet安装流程详解：跨平台、全版本兼容

2301_78348935的博客

04-09

1573

MXNet是一种高效、灵活、可扩展、跨平台的深度学习框架，具有以下显著特点： - 高效：MXNet采用了多种并行处理技术，可以利用CPU和GPU的计算能力，有效地加速了模型训练和推理的速度。 - 灵活：MXNet提供了灵活的符号式API和命令式API，用户可以自由选择不同的编程方式，灵活地构建和修改深度学习模型。 - 可扩展：MXNet的设计使得它可以在多台服务器之间共享模型和数据，可以处理大规模的深度学习任务。 - 跨平台：MXNet支持多种编程语言和操作系统，例如Python、Scala、R、C++等

【服务器管理】服务器主机插内存条技巧

陈艺荣

11-21

3万+

【服务器管理】日服务器主机插内存条技巧1 主机插内存条插槽布局与命名2 插内存条遵守的规则3 实践示例对于服务器管理，其中我们需要进行常规管理的包括：内存条和显卡。今天简单记录一下内存条的管理。 1 主机插内存条插槽布局与命名服务器的主机与我们使用的家庭版电脑主机有很大的区别。通常来说，我们日常使用的家庭版电脑主机内的内存条插槽只有2个或者4个，而且是单CPU。而服务器主机通常有24个内存条插...

服务器IPMItool工具常见参数

qq_41897488的博客

11-05

1452

PS C:\Users\Administrator\Desktop\IPMIToolWin1.8.18> .\ipmitool.exe -H $BMCIP -U $bmcuser -P $password -I lanplus -h ipmitool version 1.8.18 usage: ipmitool [options…] -h This help -V Show version information -v

在Ubuntu上安装MXNet可以使用conda进行安装命令

05-01

可以使用以下命令在Ubuntu上使用conda安装MXNet： ``` conda install -c anaconda mxnet ``` 这将从Anaconda仓库中安装最新版本的MXNet。如果你想安装特定版本的MXNet，可以使用以下命令： ``` conda install -c anaconda mxnet=version_number ``` 将version_number替换为要安装的MXNet版本的版本号。