卷积神经网络的分布式训练（二）分布式训练相关理论

最新推荐文章于 2022-09-02 11:51:44 发布
最新推荐文章于 2022-09-02 11:51:44 发布
阅读量710 收藏 4
点赞数 1
分类专栏： CNN的分布式训练 文章标签： 分布式 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36484003/article/details/108665786
版权

卷积神经网络的分布式训练（二）分布式训练相关理论

该专题是我本科毕设的各个知识点介绍和分析，以及一些实验结果展示。本科毕业了，研究生开学，又进入了一个新的学习阶段，那么趁着有时间就总结一下这个课题，分享给大家~
如果你觉得对你有帮助，给我点赞吧！小女子能力有限，也欢迎大家批评指正。

目录

一、分布式类型

单机多卡分布式

单机多卡分布式是指在同一个机器上实现的分布式，一台机器上可以拥有多张GPU，每一张GPU卡可以看作一个进程，不用涉及到不同机器之间的通信问题，一般可以用机器上的共享内存来通信。

多机多卡分布式

将数据或者模型分布在多台机器上，这就是所谓的多机分布式，多机多卡分布式可以包括很多台机器，每台机器上又可以有多张GPU。一般来说，这些机器通过互连网络或者分布式共享文件系统通信，但是互连网络最重要的指标是延迟、带宽和消息速率。
在这里插入图片描述

图1 单机多卡和多机多卡分布式结构图[1]

二、训练方式

数据并行

数据并行是指将建立好的神经网络复制到每台机器上，每台机器上有相同的模型，但是每台机器使用不同的数据进行模型的训练。
在这里插入图片描述

图2 数据并行示意图[2]

模型并行

模型并行，这种方式是指将一个神经网络模型从逻辑上划分为几个部分，然后分布在不同的机器上，但是每台机器上使用同一批数据训练。
在这里插入图片描述

图3 数据并行示意图[2]

三、参数同步机制

在数据并行方式当中，会涉及到不同机器的参数进行同步的问题。目前使用比较多的是基于参数服务器架构的同步方法和基于Ring-Allreduce架构的同步方法。
Ring-Allreduce是一种同步通信方式，其算法原理是：所有的机器被组织成一个逻辑环，每个机器只从左邻居接受数据并发送数据给右邻居，即每次同步每个机器只获得部分参数来进行更新，当一个完整的环完成时，每个机器都获得了完整的参数。
在这里插入图片描述

图4 Ring-Allreduce架构示意图[3]

参考资料

[1] https://jinzequn.github.io/2017/12/05/tensorflow-distribute/
[2] 李明. 基于Spark的分布式深度学习系统的研究与实现 [D]; 电子科技大学, 2019.
[3] 何马均. 深度学习框架TensorFlow的高效分布式并行算法研究 [D]; 电子科技大学, 2019.

阿里云小仙女
关注
专栏目录
卷积神经网络的分布式学习
AI天才研究院
03-27 514
"卷积神经网络的分布式学习" 作者：禅与计算机程序设计艺术 1. 背景介绍 卷积神经网络(Convolutional Neural Network, CNN)是深度学习领域最为成功和广泛应用的模型之一。CNN在图像识别、自然语言处理等领域取得了举世瞩目的成就。然而
卷积神经网络的训练过程,卷积神经网络卷积过程
kfc67269的博客
08-22 198
卷积神经网络有以下几种应用可供研究：1、基于卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。
分布式图卷积神经网路
07-23
这项工作的目标是研发一个训练图卷积网络(GCNs)的完全分布式算法框架。该方法能够利用输入数据的有意义的关系结构，这些数据是由一组代理收集的，这些代理通过稀疏网络拓扑进行通信。
卷积神经网络的分布式训练（一）ResNet
qq_36484003的博客
09-18 1454
卷积神经网络的分布式训练（一）ResNet 该专题是我本科毕设的各个知识点介绍和分析，以及一些实验结果展示。本科毕业了，研究生开学，又进入了一个新的学习阶段，那么趁着有时间就总结一下这个课题，分享给大家~ 如果你觉得对你有帮助，给我点赞吧！小女子能力有限，也欢迎大家批评指正。 目录卷积神经网络的分布式训练（一）ResNet一、ResNet 介绍基本原理层次种类二、网络模型结构设计1、预处理模块2、基本单元3、池化层4、全连接层参考文献 一、ResNet 介绍 ResNet（Residual Neural N
分布式卷积神经网络计算平台（通用神经网络数据处理卡 Kintex Ultra Scale 系列 KU115）
F_white的博客
11-30 1929
TES115 是一款基于 KU115 FPGA 的分布式卷积神经网络计算平台。该计算平台采用 Xilinx 的 Kintex Ultra Scale 系列 FPGA 作为主处理器，完成复杂的神经网络数据处理算法。平台采用分布式计算架构，将复杂的逻辑运算分解成一个个既相互关联又独立的运算节点，通过同步机制将各个运算节点同步起来。该平台易于扩展，通过增加 处理节点的个数，可以组成超大规模运算平台，具有极高的处理性能。 板卡采用 1 片 Xilinx 的 Kintex UltraScale 系列 FPGA 作为主
卷积神经网络的分布式训练（三）分布式训练实战（pytorch框架）
qq_36484003的博客
09-18 1794
卷积神经网络的分布式训练（三）分布式训练实战 该专题是我本科毕设的各个知识点介绍和分析，以及一些实验结果展示。本科毕业了，研究生开学，又进入了一个新的学习阶段，那么趁着有时间就总结一下这个课题，分享给大家~ 如果你觉得对你有帮助，给我点赞吧！小女子能力有限，也欢迎大家批评指正。 好啦，讲完基础知识，我们开始分布式训练吧。这一部分会涉及代码，如果有疑问的可以问我哈。 目录卷积神经网络的分布式训练（三）分布式训练实战一、分布式整体方法设计二、分布式训练的实现 一、分布式整体方法设计 我们先来看图，比较直观。
卷积神经网络的分布式训练在表情识别中的应用.pdf
05-11
在本文中，作者董飞艳提出了一种结合卷积神经网络的分布式训练方法来优化表情识别系统。首先，该系统引入了YOLO（You Only Look Once）算法作为目标检测模块。YOLO是一种实时目标检测系统，其优势在于速度快且能够在...
神经网络 卷积神经网络,卷积神经网络训练太慢
super67269的博客
09-02 1697
结构5～6每组卷积的个数均为1，结构4的通道数为64、128、256、512、512、4096、4096、2，结构5的通道数为32、64、128、256、256、2048、2048、2，结构6的通道数为16、32、64、128、128、1024、1024、2。光伏太阳能的核心组件是光伏电池组件，除了电池材料自身存在的缺陷，生产时对电池片的多次加工也可能导致电池片的损坏，如过焊片、黑斑片、隐裂片等缺陷问题，加上安装和使用过程中的机械损伤，都会影响组件的转化效率和使用寿命。，yN]T，表示预测值输出；
基于卷积神经网络的井中分布式光纤传感器地震数据随机噪声压制新技术.pdf
08-08
在卷积神经网络的结构上，研究者采用了泄漏线性整流单元（Leaky Rectified Linear Unit, Leaky ReLU）作为CNN的激活函数，这有助于增强训练后的模型在对微弱信号恢复方面的性能。此外，在CNN的训练过程中，研究者...
卷积神经网络学习2
Eyrane的博客
05-13 454
经典结构： 感受野：类似神经元只接受其所支配的刺激区域内的信号。 分布式表示：每个语义概念由许多分别在不同神经元中被激活的模式表示，而每个神经元又可以参与到不同的语义概念的表示中去。即“分布式表示”与神经元是一个多对多映射。如输入图像为224*224，最后一层汇合层可得到7*7*512的响应张量，512为最后一层卷积核的个数，对应了512个不同的卷积结果（512张特征图或通道）。对于某个模...
并行训练的原理 | Tensor Flow 支持使用多个GPU 或者机器实现深度学习模型的并行训练
Ftwhale的博客
08-06 645
Tensor Flow 支持使用多个GPU 或者机器实现深度学习模型的并行训练，但在此之前需要了解并行训 练的原理以及如何并行化地训练深度学习模型才更加合理。大体上，实现深度学习模型的并行化训练、可以分为两种不同的方式一一数据并行的方式和模型并行的方式，在本节将对这两种方式进行介绍并比较二者间的优劣。首先看一下不使用并行的方式训练深度学习模型的过程，整个过程如下图所示。在每一轮法代训练 中，当前参数的取值和 batch 数据传入到模型中，并经过模型的前向传播过程得到计算的结果，随后反向传播算法会根据损失函数
卷积神经网络经典结构
qq_43887432的博客
11-28 485
CNN网络结构中的重要概念 感受野 分布式表示 在深度学习中，深度卷积神经网络呈现“分布式表示”的特性。神经网络中的“分布式表示”指“语义概念”到神经元是一个多对多映射。即每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表示中去。 深度特征的层次性 浅层卷积核学到的是基本模式，例如：边缘、方向、纹理的特征表示； 较深层卷积可以学习到一些高层语义模式，例如：文字，人脸等； 分享一篇介绍的很好的博客传送门 残差网络模型 神经网络的深度和宽度是表征网络复杂度的
【一】分布式训练---单机多卡多机多卡（飞桨paddle1.8）
丨汀、的博客
06-28 4610
1.分布式训练简介 分布式训练的核心目的： 加快模型的训练速度。通过对训练任务按照一定方法拆分分配到多个计算节点进行计算，再按照一定的方法对需要汇总的信息进行聚合，从而实现加快训练速度的目的。 1.1 分布式训练的并行方式 在实际应用中，对训练任务的拆分方法是比较有限的，通常有如下几种： 数据并行：将数据集切分放到各计算节点，每个计算节点的计算内容完全一致，并在多个计算节点之间同步模型参数，我们通常称这种并行训练方法为数据并行。数据并行可以解决数据集过大无法在单机高效率训练的问题，也...
Pytorch 多卡训练原理与实现
qq_40676033的博客
09-07 3011
文章目录Pytorch 多卡训练一、多卡训练原理二、单机多卡训练三、多机多卡训练后端初始化初始化init_method初始化rank和world_size四、模型保存参考链接 Pytorch 多卡训练 一、多卡训练原理 多卡训练流程一般如下： 指定主机节点 主机节点划分数据，一个batch数据平均分到每个机器上 模型从主机拷贝到各个机器 每个机器进行前向传播 每个机器计算loss损失 主机收集所有loss结果，进行参数更新 将更新后参数模型拷贝给各个机器 二、单机多卡训练 使用torch.nn.Da
Tensorflow分布式训练原理
林学森的技术专栏
04-26 2082
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
卷积神经网络学习1
Eyrane的博客
05-12 2959
综述： CNN—>深度学习—>表示学习—>机器学习—>人工智能 机器学习是人工智能的一个分支，致力于研究如何通过计算的手段，利用经验来改善计算机自身的性能，通俗点就是机器的自我学习：利用经验提取出特征，利用特征构建模型。 特征的提前是复杂的过程，机器自动提取叫做“表示学习”，深度学习是其中的一个经典代表。 深度学习：输入为原始数据，经过层层抽象将自身任务所需的特征提...
卷积神经网络架构
热门推荐
JMU-HSF
11-20 3万+
卷积神经网络（conv）架构 卷积神经网络在图像分类数据集上有非常突出的表现，由于一般正常的图像信息过大，如果使用全连接神经网络，需要设置大量的权值w和basic值，这样会导致运算效率较低，还容易导致过分拟合的问题。 1.全连接神经网络和卷积神经网络的区别 全连接神经网络： 卷积神经网络图： 共同点： 图中每一个节点都代表一个神经元，没相邻两层之间的节点都有边相；输入输出的流程基本一致。 不同...
卷积神经网络(convolutional neural networks, CNN)
laoliaixuexi的博客
06-21 9828
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。经典的多层感知机由一系列全连接层组成，卷积神经网络中除全连接层外，还有卷积层和池化(pooling)层。 (1) 卷积层 为什...
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
FPGA与参数服务器结合的神经网络分布式训练方法
资源摘要信息:"该资源是一篇关于如何使用参数服务器和现场可编程门阵列（FPGA）技术来实现网络游戏中的神经网络分布式训练的研究论文。在这个过程中，分布式训练允许将一个大型的神经网络模型分解成多个子模型，使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值