本周AI热点回顾：英伟达A100训练速度可达V100的3.5倍；飞桨框架支持ONNX协议​保存模型

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍点击左上方蓝字关注我们

01

不出所料，百度EasyDL市场份额还是第一

在 2020 年的中国机器学习平台市场，百度的 EasyDL 又拿了第一。 

近日，全球权威咨询机构 IDC（国际数据公司）发布了中国《深度学习框架和平台市场份额》报告。调研数据显示，截至 2020 年 12 月，百度的「零门槛 AI 开发平台」EasyDL 以 22.80% 的市场份额位列机器学习平台市场份额第一，并连续两年保持市场第一。

数据来源：IDC《深度学习框架和平台市场份额》2020.12。

报告指出，在机器学习平台方面，百度 EasyDL 的用户认知度最高，也是受访者使用频率最高的平台。

据统计，自 2017 年推出以来，百度 EasyDL 已经累计服务了 70 多万的用户，覆盖 20 多个行业，得到了大量企业与个人开发者的广泛认可与应用。

其实，随着 AI 技术落地的不断深入，市场上已经涌现出多款致力于降低 AI 应用门槛的训练和服务平台。

从技术到硬件，从场景到应用，通过百度 AI to B 的重要承载者和输出者——百度智能云，为各行各业大规模输送百度的 AI 技术成果与平台能力，支持产业智能化升级。百度智能云拥有中国最领先的 AI 开放平台，日调用量突破 1 万亿，已开放超过 270 项 AI 能力，培养了超过 100 万人工智能领域的从业者，这个规模也在持续快速增长。

有了这样坚实的支撑，百度 EasyDL 连续两年保持市场第一也是意料之中。

信息来源：机器之心

02

AI远程监考软件Proctorio惹争议，UIUC宣布下学期停用该服务

出于对隐私、歧视、数据安全和可访问性的考虑，伊利诺伊大学香槟分校（UIUC）宣布将在 2021 夏季学期结束后停用远程监考软件 Proctorio。

在新冠肆虐的大背景下，「上网课」已经成为常态。那么考试的时候怎么办？在没有监考老师的情况下，学生会不会作弊？

越来越多高校选择使用远程监考软件 Proctorio 解决这一问题。该软件利用机器学习和先进的人脸检测技术，通过网络摄像头记录学生在考试期间的行为，监控学生的头部位置，以及标记「可疑行为」。

然而，这一软件的广泛使用引起了巨大争议。如去年 5 月澳大利亚国立大学数千学生发起请愿，要求停止使用 Proctorio 远程监控软件；美国大量师生出于隐私、歧视、数据安全和可访问性等因素抗议这一服务。

近日，伊利诺伊大学香槟分校（UIUC）发布公告，宣布将在 2021 夏季学期结束后停用 Proctorio 软件。

UIUC 公告地址：

https://emails.illinois.edu/newsletter/1970177238.html

信息来源：机器之心

03

Paddle2ONNX重磅升级：飞桨框架支持ONNX协议保存模型啦！

飞桨框架2.0集成了最新版的Paddle2ONNX工具，进一步提升了框架的开放性。

近期，飞桨进入了2.0时代，不仅API体系得到了全面升级，动态图模式变得更加完备，为广大开发者带来“动静统一的开发体验”，还集成了最新版的Paddle2ONNX工具，进一步提升了框架的开放性。除了原先的Paddle Inference和Paddle Lite等高性能部署方案外，用户还可以通过使用paddle.onnx.export接口，将模型保存为ONNX协议格式后进行部署，极大丰富了飞桨的软硬件部署生态！

飞桨作为国内最早开源的开源框架，在过去一年中技术生态迅猛发展，为开源社区贡献多个模型套件。其中，目标检测模型套件推出产业实践最优模型PP-YOLO，性能和精度都超过原生的YOLO-V4；在文字识别方向，PP-OCR在2020年一经开源，便吸引了大量开发者使用，多次登陆GitHub技术趋势榜；另外，在多个国际权威语义评测中获得冠军的预训练模型ERNIE，也升级至2.0。飞桨进步，永不止步。为了帮助开发同学解决部署环境难题，飞桨也在不断探索。

现在，飞桨与ONNX开源组织进行了合作，开源了Paddle2ONNX项目，并基于Paddle2ONNX与英特尔合作，打通了飞桨模型在OpenVINO上的部署推理。

本月，我们将发布Paddle2ONNX最新版本V0.5，带来更多重磅功能，覆盖更多飞桨官方模型，期望通过ONNX这个桥梁，进一步推动飞桨、开发者和软硬件厂商的合作！

Paddle2ONNX项目地址：

https://github.com/PaddlePaddle/Paddle2ONNX

信息来源：飞桨PaddlePaddle

04

英伟达A100深度学习性能实测：训练速度可达V100的3.5倍

英伟达最新发布的基于新架构的A100加速计算卡，其官网宣传：

自动混合精度和FP16，可以为A100带来2倍的性能提升；而且，在不更改代码的情况下，具有TF32的A100与英伟达Volta相比，性能能够高出20倍。

那么，A100与V100相比，究竟如何？最近Lambda网站真的把它俩的训练速度对比了一番。

硬件参数对比

相比V100，A100的单精度浮点计算能力，从15.7TFLOPS提升至19.5TFLOPS；而双精度浮点运算从7.8TFLOPS提升至9.7TFLOPS。

在英伟达的公开信息中，列出了A100与V100的参数对比：

结论

• 在卷积神经网络训练中：

1块A100的训练速度是1块V100的2.2倍；

使用混合精度时，前者则是后者的1.6倍。

• 在语言模型训练中：

1块A100的训练速度是1一块V100的3.4倍；

使用混合精度时，前者则是后者的2.6倍。

其中，分别用8块A100与8块V100，进行32位训练：前者速度能够达到后者的3.5倍；看来，针对不同模式下的深度学习训练，英伟达A100都有着相当不错的效率。

“前所未有的规模”以及“惊人的性能”，所言不虚。

信息来源：量子位

05‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

训练一个130亿参数的模型要用几个GPU？微软：一个就够‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

现在的模型动辄数百、数千亿参数，普通人训不动怎么办？

前不久，谷歌发布了参数量为 1.6 万亿的语言模型 Swith Transformer，将 GPT-3 创下的参数量记录（1750 亿）推至新高。这些大模型的出现让普通研究者越发绝望：没有「钞能力」、没有一大堆 GPU 就做不了 AI 研究了吗？

在此背景下，部分研究者开始思考：如何让这些大模型的训练变得更加接地气？也就是说，怎么用更少的卡训练更大的模型？

为了解决这个问题，来自微软、加州大学默塞德分校的研究者提出了一种名为「 ZeRO-Offload 」的异构深度学习训练技术，可以在单个 GPU 上训练拥有 130 亿参数的深度学习模型，让普通研究者也能着手大模型的训练。与 Pytorch 等流行框架相比，ZeRO-Offload 将可训练的模型规模提升了 10 倍，而且不需要数据科学家对模型做出任何改变，也不会牺牲计算效率。

论文链接：

https://arxiv.org/pdf/2101.06840.pdf

ZeRO-Offload 通过将数据和计算卸载（offload）至 CPU 来实现大规模模型训练。为了不降低计算效率，它被设计为最小化与 GPU 之间的数据往来，并在尽可能节省 GPU 内存的同时降低 CPU 的计算时间。因此，对于一个参数量为 100 亿的模型，ZeRO-Offload 可以在单个 NVIDIA V100 GPU 上实现 40 TFlops/GPU。相比之下，使用 PyTorch 训练一个参数量为 14 亿的模型仅能达到 30TFlops，这是在不耗尽内存的情况下所能训练的最大模型。ZeRO-Offload 还可以扩展至多 GPU 设置并实现线性加速，最多可在 128 个 GPU 上实现近似线性加速。

此外，ZeRO-Offload 还可以和模型并行一起使用，在一个 DGX-2 box AI 服务器上训练参数量超 700 亿的模型。与单独使用模型并行相比，这一参数量实现了 4.5 倍的规模提升。

信息来源：PaperWeekly

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END