【架构分析】分布式训练框架horovod源码分析

最新推荐文章于 2024-07-31 18:08:22 发布
最新推荐文章于 2024-07-31 18:08:22 发布
阅读量1.1k 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoBBNuanMM/article/details/121575395
版权

目录

概述

软件架构

工作时序

概述

Horovod是当下流行的分布式训练框架，它是Uber公司提出来的。受到百度的RingAllReduce项目的启发。Horovod成功之处是工程化做的非常好，它把梯度同步的概念抽象出来，作为一个单独的Python包，支持不同的框架。同时提出了Tensor Fusion和Gradient Compression技术来进一步提供通信性能，基本上被业界作为通用技术接受了。另外还提供TimeLine工具来方便进行性能调试。

以下是Horovod和PS的性能对比，可以看到它极大的提高了分布式训练的性能。

本文基于Horovod 开源项目 链接  对它的软件架构，以及典型的工作时序给出说明

软件架构

horovod软件架构与Pytorch和Tensorflow框架的集成

 

工作时序

 horovod 对pytorch和tensorlfow的app 侵入代码非常少，典型的工作时序如上，app代码可以参考官方示例

pytorch app 使用 Horovod 示例

tensorflow app 使用 Horovod 示例

HaoBBNuanMM
关注
大语言模型（LLM）分布式训练框架总结
Paper weekly
05-08 2587
©PaperWeekly 原创 ·作者 |避暑山庄梁朝伟背景随着 ChatGPT 的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自 OpenAI 的研究报告 (Scaling laws for neural language models) 曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的 LLM 也是大家比较关心的问题，常用的分布式训练框架有 Megatr...
horovod分布式框架使用
永远飞翔的鸟
09-30 115
horovod分布式框架使用
Horovod源码剖析（一）
EdiosnMa的博客
07-01 992
Horovod源码剖析： 核心模块 – operations horovod/common/operations.h 首先了解一下mpi常见的通信操作 MPI-Scatter：scatter与broadcast类似都是一对多的通信，将一段array 的不同部分发送给所有的进程 MPI-Boardcast：与scatter进行区分，broadcast是将0号进程将相同的信息发送给所有的进程； MPI-Gather：MPI_Gather和scatter刚好相反，他的作用是从所有的进程中将每个进程
【AI大模型】分布式训练：深入探索与实践优化
最新发布
2301_79181030的博客
07-31 2019
在人工智能的浩瀚宇宙中，AI大模型以其惊人的性能和广泛的应用前景，正引领着技术创新的浪潮。通过不断优化通信机制、同步策略、负载均衡等关键技术点，以及引入弹性训练、自动化训练、隐私保护等前沿技术，我们可以更好地应对大规模深度学习模型的训练挑战，推动人工智能技术的进一步发展。分布式训练的核心在于将大规模的数据集和计算任务分散到多个计算节点上，每个节点负责处理一部分数据和模型参数，通过高效的通信机制实现节点间的数据交换和参数同步。在分布式训练过程中，各节点的计算能力和数据分布可能不均衡，导致训练速度不一致。
字节跳动开源分布式训练框架BytePS
u011365716的博客
06-30 3780
昨天看到了一篇文章，关于字节跳动开源分布式训练框架BytePS，字节跳动作为今日头条，抖音，西瓜视频等的母公司，凭借其在人工智能领域的优势，成为世界上著名的独角兽公司。其在人工智能领域可谓独树一帜。转载的文章如下： 字节跳动开源了通用分布式训练框架BytePS，这个框架支持TensorFlow、Keras、PyTorch、MXNet，可以运行在TCP或RDMA网络中。 官方介绍称，BytePS...
[源码解析] 深度学习分布式训练框架 horovod (20) --- Elastic Training Operator
罗西的思考
07-28 278
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列最后一篇，看看mpi-operator如何改进。
分布式训练框架
weixin_40566713的博客
06-22 114
deepspeedfsd。
Horovod 分布式深度学习框架
weixin_48185819的博客
02-05 368
Horovod is a distributed deep learning training framework for TensorFlow, Keras, PyTorch, and Apache MXNet. The goal of Horovod is to make distributed deep learning fast and easy to use. https://github.com/horovod/horovod Horovod 是 Uber 开源的又一个深度学习工具.
.Net Core微服务分布式开发框架源码
10-13
一个轻量级的完全可以落地的微服务/分布式开发框架，同时也适用于单体架构系统的开发。支持经典三层与DDD架构开发模式、集成了一系列主流稳定的微服务配套技术栈。一个前后端分离的框架，前端基于Vue、后端基于.Net6...
Java基于SOA架构的分布式电商购物商城源码.zip
05-01
Java基于SOA架构的分布式电商购物商城 前后端分离 前台商城:Vue全家桶 后台管理系统:Dubbo/SSM/Elasticsearch/Redis/MySQL/ActiveMQ/Shiro/Zookeeper等。 Java基于SOA架构的分布式电商购物商城 前后端分离 前台商城...
Horovod分布式训练.pptx
01-12
Horovod分布式训练 Horovod是 Uber 开源的跨平台分布式训练框架，目标是让分布式深度学习训练快速易用。该框架整合了多种训练框架，提供了一个易用高效的解决方案。其特点包括基于 Ring-AllReduce 实现梯度交换、...
horovod：修改horovodhorovod以支持nic切换
02-16
霍罗沃德 Horovod是针对TensorFlow，Keras，PyTorch和Apache MXNet的分布式深度学习培训框架。 Horovod的目标是使分布式深度学习快速且易于使用。 Horovod由（LF AI）托管。 如果您是一家致力于在人工智能，机器和深度学习中使用开源技术的公司，并希望在这些领域中支持开源项目的社区，请考虑加入LF AI基金会。 有关谁参与其中以及Horovod如何扮演角色的详细信息，请阅读LF AI 。 内容 完整的文档和API参考发布在 。 该项目的主要动机是简化单GPU训练脚本并成功扩展它以并行地跨多个GPU进行训练。 这有两个方面： 为了使程序分布起来，必须对程序进行多少修改？运行起来有多容易？ 它在分布式模式下运行的速度有多快？ 在Uber内部，我们发现MPI模型比以前的解决方案（例如带有参数服务器的Distributed TensorF
从零开始写分布式服务框架 最新版 源码
04-27
本资源提供了“从零开始写分布式服务框架”的最新版源码，对于想要深入理解分布式系统设计和服务化架构的开发者来说，是一个宝贵的实践学习材料。 分布式框架的核心目标是实现服务的解耦、负载均衡、容错处理以及...
框架中分布式训练
爱CV
06-06 1297
作者 | 杨阳整理 | NewBeeNLP在深度学习时代，训练数据特别大的时候想要单卡完成训练基本是不可能的。所以就需要进行分布式深度学习。在此总结下个人近期的研究成果，欢迎大佬指正。
Horovod-分布式训练框架
thehappysheep的博客
10-11 467
1.Horovod-分布式训练框架 github: 官网：https://eng.uber.com/horovod/ Horovod是Uber开源的又一个深度学习工具，支持TensorFlow、Keras、PyTorch和Apache MXNet的分布式训练框架。可为用户实现分布式训练提供帮助，让分布式深度学习更快更易用。 1.1 参考： https://www.cnblogs.com/yangwenhuan/p/11165168.html https://zhuanlan.zhihu.com/p/.
深度学习框架 —— 分布式训练
RJ_theMag的博客
08-07 1662
分布式训练的动机很简答：单节点算力和内存不足，因此不得不做分布式训练。训练机器学习模型需要大量内存。假设一个大型神经网络模型具有 1000 亿的参数（LLM 时代有不少比这个参数量更大的模型），每个参数都由一个 32 位浮点数（4 个字节）表达，存储模型参数就需要 400GB 的内存。在实际中，我们需要更多内存来存储激活值和梯度。假设激活值和梯度也用 32 位浮点数表达，那么其各自至少需要 400GB 内存，总的内存需求就会超过 1200GB（即 1.2TB）。
【Pytorch基础教程41】DeepSpeed分布式训练框架
发现问题，并解决问题，批判性思维
07-10 9808
在 DeepSpeed 中，可以通过在配置文件中设置 “bf16.enabled”: true 来启用 BF16 混合精度训练，减少占用内存。 混合精度训练是指在训练过程中同时使用FP16（半精度浮点数）和FP32（单精度浮点数）两种精度的技术。 deepspeed可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。 mpi 是一种跨节点通信库，常用于 CPU 集群上的分布式训练； gloo 是一种高
自然语言处理：大模型分布式训练框架DeepSpeed
博学而笃志，切问而近思。
01-03 2033
深度学习：大模型训练框架DeepSpeed
深度学习分布式训练框架：Horovod介绍及应用
分布式深度学习与Horovod 分布式深度学习是指在多个计算节点上...分布式深度学习可以通过模型并行和数据并行两种方式来实现，Horovod是跨平台分布式训练框架，可以支持多种分布式训练方案，包括Pytorch分布式方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值