常见AI 集群网络拓扑结构

最新推荐文章于 2024-08-11 15:47:31 发布
最新推荐文章于 2024-08-11 15:47:31 发布
阅读量383 收藏
点赞数 3
文章标签： 计算机网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42319144/article/details/138952554
版权

PPT中主要介绍了目前大规模集群网络中常见的Fat-tree，spine-leaf，Dragonfly，3D Torus。由于时间和精力有限，内容可能有错误，请酌情参考。

 

MarkTian598
关注
人工智能万卡 GPU 集群的硬件和网络架构
05-26 1104
万卡 GPU 集群互联：硬件配置和网络设计
集群服务器是什么？有哪些类型
wangdunkeji_idc的博客
08-05 2058
一、什么是服务器群集？ 集群，英文名称为Cluster，通俗地说，集群是这样一种技术：它将多个系统连接到一起，使多台服务器能够像一台机器那样工作或者看起来好像一台机器。采用集群系统通常是为了提高系统的稳定性和网络中心的数据处理能力及服务能力。 服务器集群系统通俗地讲就是把多台服务器 通过快速通信链路连接起来，从外部看来，这些服务器就像一台服务器在工作，而对内来说，外面来的负载通过一定的机制动态地分配到这些节点机中去，从而达到超级服务器才有的高性能、高可用。另外，有两种常见的服务器群集类型：手动和自动。 手
超算网络常见组网拓扑
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
07-23 639
高性能计算场景的流量关注静态时延的同时需要支持超大规模组网。然而传统的CLOS架构作为主流网络架构，主要关注通用性，牺牲了时延和性价比。业界针对该问题开展了多样的架构研究和新拓扑的设计，Fat-Tree、Dragonfly、Torus是几种常见的网络拓扑，Fat-Tree架构实现无阻塞转发，Dragonfly架构网络直径小，Torus具有较高的扩展性和性价比。Fat-Tree胖树架构传统的树...
AI算力集群
Laxcus大数据技术专栏
01-29 657
部署AI算力集群必需条件和要求
大规模 AI 高性能网络的设计与实践
2301_82040283的博客
01-26 1659
欢迎来到百度智能云云智公开课 AI 大底座的系列分享。今天晚上由我来开启本轮系列分享的第一场，聚焦百度智能云 AI 大底座的关键技术——大规模 AI 高性能网络。 本次分享我们分为三个小节。首先从大模型的分布式训练出发，分析大模型训练对网络的核心需求。然后基于这些需求讨论 AIPod 高性能网络的设计。最后将讨论一些做大模型训练的实践经验。 1. 大模型训练对网络的要求 我们先来聊聊大模型训练对网络的需求。 最近半年以来大模型持续火爆。虽然关于大模型的发展与应用还有很多的争论，但可以肯定的是，大模型
AI网络时代，构建200G/400G RoCE混合组网
asterfusion的博客
01-30 1692
近日，中国移动江苏有限公司发布《中国移动智算中心（南京）2023年智算算力项目算力设备采购项目》招标公告，招标项目内容显示，需采购30台人工智能通用计算设备（训练型），预估金额10890万元（人民币/含税），单价限价363万元/台。
AI Fabric组网模式
zmy1202live的博客
05-16 870
@AI Fabric组网模式
深度学习框架 人工智能操作系统 训练&前向推理 PyTorch Tensorflow MindSpore caffe 张量加速引擎TBE 深度学习编译器 多面体 polyhedral AI集群框架
万有文的博客
04-03 1108
深度学习框架发展到今天，目前在架构上大体已经基本上成熟并且逐渐趋同。无论是国外的Tensorflow、PyTorch，亦或是国内最近开源的MegEngine、MindSpore，目前基本上都是支持EagerMode和GraphMode两种模式。
一个简单的神经网络,三种常见的神经网络
super67269的博客
08-22 3411
3、基于MATLAB语言的网络训练与仿真建立并初始化网络% ================S1 = 24;在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。
大规模AI计算集群的网络环境需求，Infiniband还是超低时延以太网？
asterfusion的博客
03-27 1380
星融元 CX-N 系列超低时延云交换机作为一款通用的以太网设备，从底层交换芯片到上层的各种协议栈皆面向低时延场景深度优化，可提供 Port to Port ~400ns 的转发时延，全速率下（10G~400G）转发时延相同，并且支持多种数据中心高级功能（如PFC、ECN等）以避免丢包和网络拥塞。
AI算力集群网络规模与集群算力发展分析
04-21 1825
AI算力集群网络规模与集群算力发展分析
打破 AI 算力天花板，Meta超大规模AI基础设施架构解读
05-06 1460
打破 AI 算力天花板，Meta超大规模AI基础设施架构解读
计算机网络-13 数据中心网络
人形自走写bug机的Blog
01-15 2102
第十三讲：数据中心网络 概览 DCN中的流量方向 包括南北向和东西向两种 南北向（从路由器到database，自顶向下） 来自外部客户端，由前端服务器，业务服务器和数据库主机处理，流量模式相对固定，但会有天特性（一天中流量随时间的变化） 东西向（数据中心内部） 数据中心内部数据平行计算产生的流量，从分布式存储系统获取数据，传送给计算节点，再到汇聚点，再存储到文件系统中，流量模式不固定，分钟级别的变化可能都很大 互联网和数据中心网络的对比 互联网 数据中心网络 多自治域 一个管理域 分布式
万字长文详解AI集群基础设施InfiniBand
最新发布
人工智能曾小健
08-11 646
GPUDirect Peer-to-Peer（P2P）技术主要用于单机GPU间的高速通信，它使得GPU可以通过PCI Express直接访问目标GPU的显存，避免了通过拷贝到CPU host memory作为中转，大大降低了数据交换的延迟。
Clos Network 与 Leaf Spine 架构
热门推荐
ginkov的博客
10-18 1万+
CLOS 架构， Spine Leaf 架构
【Interconnection Networks 互连网络】Torus 网络拓扑
Messiah___的博客
04-22 2093
Torus 和 Mesh 网络拓扑，又可以称为 k-ary n-cubes，在规则的 n 维网格中包裹着 N = k^n 个节点，每个维度都有 k 个节点，并且最近邻居之间有通道。k-ary n-cubes包含一系列网络，从 rings (n = 1) 到 binary n-cubes **(k = 2)**，也称为超立方体(hypercubes)。
【超万卡GPU集群关键技术深度分析 2024】
lhx17673139267的博客
06-28 1060
集群高能效计算技术随着大模型从千亿参数的自然语言模型向万亿参数的多模态模型升级演进，超万卡集群吸需全面提升底层计算能力。具体而言，包括增强单芯片能力、提升超节点计算能力、基于 DPU (Data Processing Unit) 实现多计算能力融合以及追求极致算力能效比。这些系统性的提升将共同支持更大规模的模型训练和推理任务，满足迅速增长的业务需求。1.1 单芯片能力超万卡集群中，单芯片能力包括单个 GPU 的计算性能和 GPU 显存的访问性能。在单个 GPU 计算性能方面,首先需要设计先
Mellanox Infiniband 架构设计快速实战指南 - A
ShawnTheCoder的博客
05-20 6527
Nvidia GTC 2020正在进行中，Nvidia（英伟达）最终完成了对以色列高速计算网络厂商Mellanox的收购，再一次被黄老板高度评价。Mellanox Infiniband至今依然是高速计算互联网络的主流厂商和解决方案，在HPC领域应用广泛。本文基于Mellanox官方提供的材料，介绍如何快速上手Infiniband高速互联网络的设计规划。
探索人工神经网络：拓扑结构与应用入门
网络的拓扑结构是人工神经网络（Artificial Neural Networks, ANN）设计的关键组成部分，它定义了神经元之间的连接方式和信息传递路径。网络的常见结构通常包括输入层、隐藏层和输出层，每层由多个节点（神经元）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值