35 分布式训练【动手学深度学习v2】

已于 2023-03-14 16:43:27 修改
阅读量89 收藏
点赞数
分类专栏： 动手学深度学习 文章标签： 深度学习 人工智能
于 2023-03-14 16:43:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hlllllllhhhhh/article/details/129531532
版权
文章讨论了分布式计算在数据处理中的应用，强调了数据并行运算和GPU性能的关系。文中指出，通过减少跨机器通讯和利用同步/异步SGD优化训练过程，可以提高效率。增大batch_size会影响计算时间，但能减少通信次数。同时提到，forward阶段通常不并行，而backward阶段才开始并行计算，小批量数据多样性有助于提升性能。
摘要由CSDN通过智能技术生成

目录

一、分布式计算

 二、问题

一、分布式计算

1、数据并行运算

 2、与GPU性能上的不同，少在机器上做通讯

 3、减少跨机器的通讯，例子——计算一个小批量

  • 每个计算服务器读取小批量中的一块
  • 进一步将数据切分到每个GPU上
  • 每个worker从参数服务器那里获取模型参数
  • 复制到每个GPU上
  • 每个GPU计算梯度
  • 将所有GPU上的梯度求和
  • 梯度传回服务器
  • 每个服务器对梯度求和，并更新参数

4、每个worker都是同步计算一个批量，同步SGD

5、在同步SGD的情况下，计算和通信没有办法重叠的。异步SGD才允许计算和通信并行

增加batch_size影响的是 t1 ，t1会变大，t2不变，所以我们算一个足够大的batch_size，使得 t1 远远大于 t2 

n是GPU数量6

6、因为是batch个样本算平均梯度，一个epoch的样本数固定，所以batch越大更新越慢

 7、

8、

 二、问题

  •  弹幕记笔记：小批量里数据多样性强，性能好
  • 在forward的时候是不能并行的，在backward的时候才开始并行

 

 

 

 

 

hlllllllhhhhh
关注
专栏目录
动手学深度学习课程作业和答案
03-21
本资源"动手学深度学习课程作业和答案"提供了一个学习深度学习的实践平台，帮助学生和研究人员巩固理论知识，提升实战技能。 在深度学习中，我们通常会涉及以下几个核心概念： 1. **神经网络**：神经网络是深度...
动手学深度学习之机器翻译和数据集
01-06
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/MZn2AdNyGzumTprVPwV3y 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的...
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-softmax
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——softmax
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-权重衰退
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——权重衰退
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-drop out
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——drop out
AI学习指南深度学习篇-变分自编码器在深度学习中的实际应用
俞兆鹏的博客
10-13 733
变分自编码器是一种生成模型，它通过编码器-解码器结构实现数据的生成与重建。与传统的自编码器不同，VAE在潜在空间中引入了概率分布，使得生成的新样本具有更好的多样性。
深度学习速通系列:中文命名实体识别（NER）数据集大全（含链接）
Ven%的博客
10-16 310
训练集8001条、验证集1000条、测试集1001条。：在清华大学开源的文本分类数据集THUCTC基础上进行细粒度命名实体标注，包含地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点等类别。：基于淘宝电商数据制作的NER数据集，包括商品名称、商品型号、人名、地名等类别。：基于新浪财经收集的上市公司高管简历，标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。：由Boson提供，包含时间、地点、人名、组织名、公司名、产品名等类别，共2000个段落。
【深度学习】经典的深度学习模型-01 开山之作：CNN卷积神经网络LeNet-5
10-12 512
Note: 草稿状态，持续更新中，如果有感兴趣，欢迎关注。。。
基于深度学习的车辆车型检测识别系统（YOLOV5）
ANDROID6666666的博客
10-16 457
本项目旨在开发一个基于深度学习的车辆识别系统，采用先进的yoloV5网络架构，以实现对不同车型的精准识别。系统开发环境选用Pycharm集成开发环境，并结合Anaconda进行环境管理和包依赖的配置。为了确保系统的稳定性和高效性，我们选择了Python 3.8作为开发语言，并集成了opencv、PyQt5以及torch1.9等关键库和框架。在数据方面，准备了总共9000张图片，其中8000张用于训练模型，剩余的1000张用于测试模型的性能。
Text2Video Huggingface Pipeline 文生视频接口和文生视频论文API
rockingdingo的博客
10-12 899
文生视频是AI领域热点，国内外有非常多的优秀产品如Runway AI、Pika AI、可灵King AI、通义千问、智谱的文生视频模型等等。很多文生视频的大模型都是基于Huggingface的 diffusers的python包来开发。为了方便调用，也尝试了使用 PyPI的text2video的python库的Wrapper类进行调用，下面会给大家介绍一下Huggingface Text to Video Pipeline的调用方式 以及使用通用的text2video的python库调用方式。
深度学习-22-基于keras的十大经典算法之深度神经网络DNN
qq_20466211的博客
10-12 321
深度神经网络的基本结构介绍，同时分别基于模拟数据集和鸢尾花数据集，对模型进行了训练和预测。
YOLOv11改进策略【Conv和Transformer】| ACmix 卷积和自注意力的结合，充分发挥两者优势
qq_42591591的博客
10-14 399
传统的卷积可以分解为多个1×11×11×1卷积，然后是位移和求和操作。例如对于一个k×kk×kk×k的卷积核，可分解为k2k^{2}k2个1×1×1×卷积。
【深度学习】RNN实战
言兼小师傅的博客
10-15 385
【代码】【深度学习】RNN实战。
基于YOLO11/v10/v8/v5深度学习的安检X光危险品检测与识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
阿旭的博客
10-11 1399
基于YOLO11/v10/v8/v5深度学习的安检X光危险品检测与识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
《深度学习》【项目】自然语言处理——情感分析 ＜下＞
最新发布
wx_AHao1004Y的博客
10-16 1185
​对微博评论信息的情感分析，建立模型，自动识别评论信息的情绪状态。
探索深度学习的奥秘：从理论到实践的奇幻之旅
来自想要赚大钱的小周同学
10-16 2522
在自然语言处理（NLP）中，Transformer模型通过自注意力（self-attention）机制实现了对序列中每个元素与其他元素之间关系的建模，极大地提升了语言模型的性能。DRL通过深度学习模型来处理复杂的输入（如图像、文本等），并利用强化学习算法来优化模型的行为策略。在自动驾驶领域，深度学习模型通过处理车载摄像头和雷达等传感器收集的数据，实现车辆的自主导航和避障。今天，让我们携手踏上一场探索深度学习奥秘的奇幻之旅，从理论的深邃海洋到实践的广袤大地，揭开它神秘的面纱。
深度学习基础知识-02 数据预处理
qq_53568730的博客
10-12 269
由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。为了处理缺失的数据，典型的方法包括插值法和删除法， 其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。
BERT的中文问答系统18
weixin_54366286的博客
10-15 670
现代GUI库: 考虑使用更现代的GUI库，如 PyQt 或 Kivy，以提高界面的美观性和易用性。多语言模型: 使用多语言预训练模型，如 bert-base-multilingual-cased。语言检测: 使用语言检测模型，自动识别用户输入的语言并选择合适的模型进行处理。如果有任何问题或需要进一步的解释，请随时提问。多语言支持: 目前代码主要支持中文，可以在后续版本中增加多语言支持。历史记录: 记录用户的输入和模型的回答，方便用户查看历史对话。PyQt: 使用 PyQt 库构建更现代、更美观的用户界面。
深度学习中的卷积神经网络
Envyᥫᩣ的博客
10-13 344
卷积神经网络作为深度学习的重要组成部分，为计算机视觉领域带来了革命性的进展。随着硬件设备和算法模型的不断发展，CNN在未来将有更广泛的应用前景。
动手学深度学习v2下载
06-22
### 回答1： 动手学深度学习v2是一本非常好的深度学习教材，是从谷歌机器学习研究员李沐所主持的Gluon团队创作的。它提供了丰富的案例和实际应用，深入浅出地介绍了深度学习的基础理论和实践技能。 下载动手学深度学习v2非常简单，可以通过访问官方网站来获取。首先，打开谷歌或百度搜索引擎，搜索"动手学深度学习v2下载"，就可以找到相关的下载链接。建议选择官网下载，因为官网下载最为安全可靠。 进入官网后，点击首页上的"下载"按钮，然后在目录下找到本书的下载链接，下载适合你的版本即可。此外，动手学深度学习v2还有在线阅读的版本，方便学习者随时随地学习。 总的来说，动手学深度学习v2是一本非常优秀的深度学习教材，相关下载链接也十分便捷，能够帮助广大学习者更好地掌握深度学习相关的知识和技能。 ### 回答2： 动手学深度学习v2是一本非常优秀的深度学习入门书籍，笔者十分推荐。如果您想要下载该书籍，可以使用以下方法： 1.进入动手学深度学习v2的官网（https://zh.d2l.ai/），点击右上角的“Github”按钮，进入书籍的Github仓库。 2.在仓库中找到“releases”目录，选择最新的版本号，点击进入。 3.在该版本的页面中，找到“Source code (zip)”或“Source code (tar.gz)”选项，点击下载压缩包。 4.下载完成后，解压缩文件即可得到电子书的文件夹，其中包括PDF和HTML格式的书籍。 除此之外，您也可以在该官网中找到由中文社区翻译的在线电子书版本。在该电子书中，您可以直接在线阅读和学习。值得注意的是，该书籍的在线翻译版本可能会比英文原版稍有滞后。如果您想要阅读最新的内容，请下载英文原版或者在该官网上查看最新的更新。 ### 回答3： 学习深度学习是现在的热门话题之一。而动手学深度学习v2是一本非常好的深度学习教材，旨在为做实际项目的学习者提供知识技能和实战经验。为了下载此书，您需要按照以下步骤进行。 首先，您需要访问动手学深度学习官方网站，网址为d2l.ai。然后，您需要找到下载页面，这个页面可以通过页面上的“全书下载”按钮或主页面上的一个标签来访问。 在下载页面，您需要选择您所需要的版本，v2版本是最新版本。接着，您需要选择您所需的格式。您可以选择PDF格式或HTML格式，下方还提供了在线阅读链接。 若您选择了PDF格式，则需要点击下载链接，页面会跳到GitHub仓库中。在GitHub页面，您需要选择ZIP文件并下载。下载完成后，您就可以在本地解压并阅读这本书了。 若您选择了HTML格式，则不需下载，只需点击在线阅读链接即可。页面会跳转到包含书籍所有章节、实例代码、作者笔记等信息的HTML页面，您可以任意阅读或者下载章节（在左侧点击对应章节）。 总之，动手学深度学习v2是一本亲身实践的深度学习教材，其深入浅出的讲解以及丰富的实战案例，能够帮助初学者快速掌握深度学习这一技术，同时也是深度学习领域专业人士的必备读物。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值