幻方萤火 | 性能卓越的深度学习算子 hfai.nn

已于 2022-10-26 16:45:42 修改
阅读量638 收藏 1
点赞数
分类专栏： 幻方AI萤火 幻方AI训练平台 文章标签： 深度学习 人工智能
于 2022-07-19 17:15:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_66945478/article/details/125876192
版权
幻方AI基于萤火二号平台自研深度学习算子hfai.nn，包括hfai.nn.parallel.DistributedDataParallel和优化的LSTM、Attention、LayerNorm等，提供to_hfai/to_torch工具切换算子，实现性能显著提升。在LSTM、Attention的测试中，优化后的算子训练速度提升达8倍，inference速度提升43%。
摘要由CSDN通过智能技术生成

深度学习框架的流行（如 PyTorch，Tensorflow 等）极大方便了我们研发设计各种各样的 AI 模型，而在实际落地的环节中，孵化于实验室里的模型代码往往在生产环境上面临着性能、准确度、资源等各种各样的问题。随着 AI 与现实世界的业务结合愈加密切，高性能且易使用的深度学习算子愈发受到 AI 研究者和开发者们的青睐。

幻方 AI 依托萤火二号平台，自研了一系列 AI 基础设施：3FS，hfreduce，ffrecord等。如之前系列文章中介绍的，他们极大地提升了模型训练中数据读取的性能，充分利用 GPU 算力。而对于计算环节，幻方 AI 同样对 Pytorch 框架进行了深度优化，结合「萤火二号」的集群特点，对一些常用的 AI 算子重新研发，提升效率，进一步提升了模型整体的训练效率。

本期文章将为大家介绍，幻方 AI 的深度学习算子 hfai.nn。

hfai.nn.parallel

在之前的文章

最低0.47元/天 解锁文章
幻方AI小编
关注
专栏目录
幻方萤火 | 高速读写文件系统 3FS
weixin_66945478的博客
03-15 569
3FS是幻方AI自研的高速读写文件系统，是幻方AIHPC“萤火二号”计算存储分离后，存储服务中的重要一环。 于2022年3月召开的GTC大会上，幻方AI将受邀分享“AI Computing Power on Demand——Sharing an AIHPC Scheduled with Time Slices and Running Elastic Large-scale Distributed Deep Learning Trainings”的主题演讲，届时将详述3FS研发过程中的更多细节与故事。
stn算子_深度学习常用算子（二）
weixin_28930033的博客
01-14 370
1、Tensor维度变换1)Flatten作用：将输入tensor中从start_axis维度到end_axis维度合并为1维2)Reshape作用：将输入Tensor描述转换为新的shape3)FreespaceExtract作用：将h维变成1，其他维度不变，从而完成对h的采样，采样值所在位置由输入的index参数决定4)Pack作用：Pack算子为TensorFlow原生算子，最新的版本已经改...
深度学习中的算子
最新发布
xw555666的博客
04-04 1737
在深度学习中，层是模型的构建单元，它们通过各自定义的算子作用于函数空间，将输入数据映射到越来越抽象的特征表示，直至输出层给出最终的预测结果。模型由一系列算子的组合构成，模型的整体特点和其中的构成算子有关，模型的训练也和其中的算子有关。因此有必要仔细观察并讨论一下算子。
深度学习常用算子
Ryan
10-21 2579
深度学习常用算子 算子 功能 Relu ReLU(x)=max(0,x) LeakyRelu LeakyRelu(x) = (x >= 0 ? x : x*negative_slope) Relu6 LeakyRelu(x) = max(max(x, 0), 6) Tan tanh(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x)) sigmoid sigmoid(x) = 1. / (1. + exp(x)) PRelu f(x) = max
（六）、深度学习框架中的算子
weixin_48060069的博客
08-18 3046
1、深度学习框架算子的基本概念 深度学习框架中的算子（operator）是指用于执行各种数学运算和操作的函数或类。这些算子通常被用来构建神经网络的各个层和组件，实现数据的传递、转换和计算。 算子是深度学习模型的基本组成单元，它们定义了模型的结构和运算流程，包括输入、输出和中间计算。 2、常见的算子 卷积算子（Convolution Operator）： 卷积算子是用于图像处理和计算机视觉任务的关键操作。它通过在输入数据上滑动一个卷积核，计算每个位置的加权和，从而
幻方萤火 | 并行训练中的快速保存与加载 hfai.checkpoint
weixin_66945478的博客
08-16 420
分布式训练中模型的保存，特别是大模型，常常需要耗费很多的时间，降低了整体的 GPU 利用率。针对这类问题，幻方 AI 进行了攻关，优化过往深度学习模型单机训练保存的方法，研发出分布式 checkpoint 方案，大幅度降低模型保存与加载上的开销。
hfai.pl | 兼具萤火集群优化特性的 PyTorch Lightning
weixin_66945478的博客
11-21 822
Pytorch Lightning（简称 pl） 是在 PyTorch 基础上进行封装的库，它能帮助开发者脱离 PyTorch 一些繁琐的细节，专注于核心代码的构建，在 PyTorch 社区中备受欢迎。hfai.pl 是 high-flyer 对 pl 的进一步封装，能更加轻松的适配各种集群特性，带来更好的使用体验。本文将为大家详细介绍优化细节。
幻方萤火 | 显存节省利器 CPUOffload
weixin_66945478的博客
09-14 1165
hfai.nn.CPUOffload 为什么可以节省显存？如何使用？它和 PyTorch 原始版本有何不同？本期文章将为大家分享 CPUOffload 设计背后的故事，讲述幻方 AI 设计 CPUOffload 的理念，展现 CPUOffload 的性能和便捷。
幻方萤火 | 一行代码，自动调参
weixin_66945478的博客
09-23 828
调参是深度学习中的必经过程，研究者们往往需要花费大量的时间进行调参，以获取最好效果的模型参数。对于参数规模不大的小模型，手工运行实验进行参数调优还是可以接受的方法，但当遇上大模型时，只凭人工进行参数优化就会变得难以实操，也难以高效利用GPU集群的强大算力。为了解决这一问题，幻方 AI 基于萤火集群的特性，研发了一套辅助调参工具——Autotune。用户只需要设定好参数搜索范围，在幻方萤火集群上发起训练，Autotune 会自动帮您尝试所有的参数组合，合理分配算力进行测试，最后统计输出不同参数下的模型表现。
深度学习常用算子（一）
热门推荐
Gapostal的专栏
08-22 1万+
1、起始输入 Data：输入数据第一层 2、激活算子 作用：引入非线性（通常需要区分的区域，直线是无法完全区分的） 1）Relu 公式：ReLU(x)=max(0,x) 2）LeakyRelu 公式：LeakyRelu(x) = (x >= 0 ? x : x*negative_slope); 3）Relu6 公式：LeakyRelu(x) = max(max(x, ...
【深度学习】基本的CNN算子
月亮鱼与十四行的博客
11-25 2182
因为经典网络LeNet-5涵盖的是卷积神经网络中最基本的卷积层、激活层、池化层和全连接层，故本文欲以此为例，对CNN网络中这几个基本的层算子先进行分析，以抓住CNN网络的核心。
深度学习常用算子（二）
haima1998的专栏
07-21 1144
转自：https://blog.csdn.net/zhuhaodonglei/article/details/100014178 1、Tensor维度变换 1）Flatten 作用：将输入tensor中从start_axis维度到end_axis维度合并为1维 2）Reshape 作用：将输入Tensor描述转换为新的shape 3）FreespaceExtract 作用：将h维变成1，其他维度不变，从而完成对h的采样，采样值所在位置由输入的index参数决定 4）Pack 作用：Pack
深度学习之常用算子介绍
ueke1的博客
04-02 4260
打开 onnx 模型图，可以看到它是一个有向无环图。除了 Input、Output ，其他都是算子（是操作，而不是节点）在ONNX（Open Neural Network Exchange）模型中，除了输入和输出，其他都是算子（Operations）。算子是表示神经网络模型中的不同操作或层的元素。一个ONNX模型由一系列算子组成，通过连接这些算子来定义模型的计算流程。
halcon深度学习2：深度学习算子初认识
mlxg99999的博客
07-06 1092
1、深度学习 import_model_from_dlt.hdev 介绍：使用从深度学习工具导出的经过训练的基于深度学习的模型 2、深度学习(分类) 从上至下： 1：介绍：根据需要，对数据进行预处理，训练一个基于深度学习的模型来分类缺陷； 2：介绍：训练基于深度学习的药丸缺陷分类模型； 3：介绍：评估一种训练有素的基于深度学习的药丸缺陷分类模型； 4：介绍：利用训练好的基于深度学习的模型对药丸缺陷进行分类； dl_workflow：介绍：使用深度学习对水果进行分类(最小工作流示例)； prune_wor
一个算子在深度学习框架中的旅程
AI科技大本营
06-21 504
作者 | OneFlow社区来源 | OneFlow算子即Operator，这里简称op。op是深度学习的基础操作，任意深度学习框架中都包含了数百个op，这些op用于各种类型的数值、tensor运算。在深度学习中，通过nn.Module这样搭积木的方式搭建网络，而op就是更基础的，用于制作积木的配方和原材料。譬如如下的一个demo网络：import oneflow as ...
深度学习算子求导的学习笔记
墨门
01-20 813
Keywords: 卷积 1 致谢 感谢大佬的文章《Convolutional Neural Networks backpropagation: from intuition to derivation》，写的很清楚！ 2 介绍 在这篇文章中，我们将跟随知乎文章《卷积神经网络(CNN)反向传播算法推导·南柯一梦宁沉沦》来学习Convolution的Backpropagation计算； CNN卷积介绍 CNN中的卷积实际上是点积互相关（Dot Products）；...............
百度深度学习--卷积算子的应用（一）
W_Y_J_love的博客
04-13 454
卷积算子应用举例 下面介绍卷积算子在图片中应用的三个案例，并观察其计算结果。 案例1——简单的黑白边界检测 下面是使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分，右边为黑暗部分，需要检测出光亮跟黑暗的分界处。 可以设置宽度方向的卷积核为[1,0,−1][1, 0, -1][1,0,−1]，此卷积核会将宽度方向间隔为1的两个像素点的数值相减。当卷积核在图片上滑动的时候，如果它所覆...
幻方萤火 | 高性能数据格式 ffrecord
weixin_66945478的博客
03-25 248
在之前的文章《幻方萤火 | 高速读写文件系统 3FS》中提到，幻方AI自研了一套适合深度学习模型训练场景的文件读写系统3FS，能提供高性能的批次数据读取，提高模型的训练效率。对于用户而言，使用3FS非常简单，只需要掌握我们封装设计的高性能数据格式，ffrecord，将数据存入幻方萤火超算平台中即可。 那么ffrecord和一般的数据格式有什么不同？它应该要有哪些设计要求呢？本期文章将为大家分享ffrecord设计背后的故事，讲述幻方AI设计ffrecord的理念，展现ffrecord的高性能和便捷。
萤火小程序商城v1.1.460 商业版
07-24
### 回答1： 萤火小程序商城v1.1.460商业版是一款功能强大的商城小程序。它具有以下特点和优势： 1. 多样化的商品展示：萤火小程序商城支持多种商品展示形式，包括图片展示、视频展示、文章介绍等，可以满足不同商品的展示需求。 2. 灵活的商品管理：商业版的小程序能够实现商品的上架、下架、库存管理等功能，方便商家对商品进行灵活的管理和运营。 3. 积分系统：商业版的小程序还支持积分系统，用户在购物过程中可以积累积分，用于抵扣订单金额或获取特定的福利，增加用户的购买欲望。 4. 会员系统：商业版的小程序还有会员系统，用户可以通过消费累积积分或购买会员卡来享受不同的会员权益，增加用户的粘性和忠诚度。 5. 支付接口：商业版的小程序集成了支付接口，方便用户在线购买商品并进行支付操作。支持多种支付方式，如微信支付、支付宝等，提供了安全、方便的支付方式。 6. 数据统计功能：商业版的小程序有详细的数据统计功能，商家可以了解到商品的销量、访客数量、转化率等数据，从而优化运营策略和提升销售业绩。 总之，萤火小程序商城v1.1.460商业版是一款功能强大、灵活易用的商城小程序，通过它商家可以实现商品的展示与销售，并获得详细的数据分析，有利于提升商家的竞争力和运营效果。 ### 回答2： 萤火小程序商城v1.1.460 商业版是一款功能强大的商城小程序版本。该版本在基础版的基础上进行了升级和优化，提供更多商业化的功能和服务，满足商家的多样化需求。 首先，商业版增加了更多的模板和样式选择，能够更好地展示商品信息和品牌形象。商家可以根据自己的需求自由选择和定制界面风格，提升用户的购物体验。 其次，商业版还提供了各种营销功能，如优惠券发放、促销活动、秒杀等。商家可以根据自己的营销策略进行活动设置，吸引更多的用户参与购买，并提升销售额。 此外，商业版还增加了订单管理、库存管理、物流配送等功能，方便商家对订单的处理和管理。商家可以更高效地跟踪订单状态、管理库存和安排物流，提升订单处理的效率和准确性。 最后，商业版还提供了数据统计和分析功能，帮助商家了解销售情况、用户行为等重要数据，以便进行经营决策和优化。商家可以根据运营数据进行精细化的管理和调整，提升经营效益。 总之，萤火小程序商城v1.1.460商业版是一款功能强大、操作简便的商城小程序，提供了丰富的商业化功能和服务，帮助商家搭建优质的电商平台，实现更高的销售和运营效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

幻方AI小编

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值