pbs跨节点并行_重磅！Facebook 更新 PyTorch 1.1，打算跨 GPU 分割神经网络 | 技术头条...

作者 | 琥珀

出品 | AI科技大本营(ID:rgznai100)

责编 | 胡巍巍

时隔半年不到，PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚，Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本，这是对 PyTorch 1.0 的一次大的功能升级。

PyTorch 产品经理 Joe Spisak 接受外媒 ZDNet 采访时，谈及了新推出的训练 AI 系统时”跨 GPU 分割神经网络“功能，他表示：“(神经网络)模型越来越大，它们真得非常大，而且训练一个模型的成本也非常高。在很多情况下，其 GPU 占比超过 16GB。例如，我们内部最新开发的神经网络模型超过 10GB，其参数数量基本超过 10 亿个。“

虽然 BERT 效果惊人，但其所需要的计算量也非常大。例如，BERT-Large 模型有 24 层、2014 个隐藏单元，它们在有 33 亿词量的数据集上需要训练 40 个 Epoch。

为了解决这类问题，PyTorch 1.1 增加了跨 GPU 分割神经网络的能力，成为”分片 “(sharding)模型。此前，PyTorch 允许开发人员将不同处理器中的训练数据分割，这在并行处理计算领域称为” 数据并行 “(data parallelism)。神经网络分割使得” 指令并行“成为可能，因此神经网络可以实现多指令、多数据的模式。

”一般来讲，这些模型均位于一个 GPU 中，开发人员处理分布式并行数据，这意味着，他们可以对数据集进行分割，然后在系统上复制模型。一旦训练这种较大规模的模型，模型本身就必须切分。可以将某个模型层或子图神经网络放在一个节点上，然后将另一个子图神经网络切换到另一个计算单元上。“

分片完成后，PyTorch 中的算法在模型训练时会将其结合起来。

实际上，跨 GPU 分割模型仅是 PyTorch 此次升级的其中一项新功能。

PyTorch 1.1 有什么新功能？

该框架主要有四大更新，总结起来如下：

• 提供 TensorBoard 官方支持：

使用 TensorBoard 进行一级原生的可视化和模型调试。TensorBoard 是一个用于检查和理解训练脚本、张量和图神经网络的 Web 应用程序套件。PyTorch 现在通过一个简单的 “from torch.utils.tensorboard import SummaryWriter” 命令原生支持 TensorBoard。

• 升级 JIT 编译器：

对即时(JIT)编译进行改进。这些改进包括修复各种 bug 一级 TorchScript 中的扩展功能，例如对字典、用户类和属性的支持。

• 新 API：

支持布尔张量，更好地支持自定义递归神经网络(RNN)。

• 分布式训练：

改进了 CNN 等场景模型的性能，增加了对多设备模块的支持，包括在使用分布式数据并行(DDP，Distributed Data Parallel)的同时跨 GPU 分割模型的能力，并支持在每次迭代中不适用所有参数的模块(例如控制流程，如自适应 softmax 等)。

值得注意的是，PyTorch 1.1 不再支持 CUDA 8.0。

生态的深度支持

PyTorch 升级新框架都不开生态社区的支持。

例如，在 2018 年 5 月在 F8 开发者大会上首次公布的 PyTorch 1.0 ，就与 Facebook 的 Caff2、ONNX 进行了更深入的整合。

而此次，Facebook 表示：还将继续与社区合作，开发共同项目和工具，旨在支持 ML 工程师满足从改进模型理解到使用 AutoML 方法进行自动调整等各种需求。其中包括已经在生产规模部署的 Facebook 开源资源，以及与 Google 等公司合作的产品和服务，主要有四方面：

• BoTorch

BoTorch 是一个建立在 PyTorch 之上的贝叶斯优化库。

• Ax

Ax 是一个用于管理自适应实验的机器学习平台，它使研究人员和工程师能够系统地探索大型配置空间，以优化机器学习模型、基础架构和产品。

• PyTorch-BigGraph

PBG 是一个分布式系统，用于创建具有数十亿实体和数万亿边的非常大的图神经网络的嵌入。(AI 科技大本营此前报道)

• Google AI Platform Notebooks

Google AI Platform Notebooks 是 Google Cloud Platform 提供的全新托管的 JupyterLab 服务。数据科学家可以快速创建运行 JupyterLab 的虚拟机，并预装最新版本的 PyTorch。它还与 BigQuery、Cloud Dataproc、Cloud Dataflow 和 AI Factory 等 GCP 服务紧密集成，可以在不离开 JupyterLab 的情况下轻松执行完整的机器学习构建。

此外，Facebook 将与 fast.ai 展开更紧密的合作。

去年，双方联合发布了 fastai 1.0，一个基于 PyTorch 构建的开源深度学习库。目前，包括斯坦福 NLP、加州伯克大学 CV 课程正基于 PyTorch 进行授课。今年，Facebook 表示，将在牛津大学 Andrew Trask 和 OpenMined 推出深度学习入门课程的基础上，赞助新的 Udacity 课程。Facebook 还将提供奖学金，以支持学生在 Udacity 完整的 Nanodegree 课程中继续接受教育。

相关链接：

https://pytorch.org/

https://github.com/pytorch/pytorch/releases

https://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/

(本文为AI科技大本营原创文章，转载请微信联系 1092722531)

【END】

作为码一代，想教码二代却无从下手：

听说少儿编程很火，可它有哪些好处呢？

孩子多大开始学习比较好呢？又该如何学习呢？

最新的编程教育政策又有哪些呢？

下面给大家介绍CSDN新成员：极客宝宝(ID：geek_baby)

戳他了解更多↓↓↓

 热 文 推 荐 

☞苏州到底有没有互联网？

☞41 岁蚂蚁金服总裁助理去世； 华为首款 5G 手机欧洲上市；库克首谈 5G iPhone | 极客头条

☞消失的手机玩家

☞真の硬核粉丝！小学生也参加杨超越杯，作品优秀！

☞ 阿里半跪过，任正非差点跳楼，京东被骗光钱：成年人的生活哪有容易二字？

☞不改变比特币, 如何扩容?

☞强推！盘点阿里巴巴 15 款开发者工具 | 程序员硬核评测

☞17篇论文入选CVPR 2019，百度AI都在关注什么？(附论文地址)

☞ 她说：为啥程序员都特想要机械键盘？这答案我服！

System.out.println("点个在看吧！");
console.log("点个在看吧！");print("点个在看吧！");printf("点个在看吧！\n");
cout <"点个在看吧！" <Console.WriteLine("点个在看吧！");
Response.Write("点个在看吧！");alert("点个在看吧！")echo "点个在看吧！"

你点的每个“在看”，我都认真当成了喜欢