- 博客(111)
- 收藏
- 关注
RSS订阅原创 OneFlow中的错误处理：Maybe
撰文 |李新奇、twice、姚迟1C++ 中错误处理的困境C++ 编程中错误情况处理的机制大概分为两种：异常函数返回错误码异常考虑以下的代码中 get_cute_cat 的实现：让 im...
2021-10-21 11:42:21
29
转载 分布式领域最重要的一篇论文，到底讲了什么？
撰文 |张铁蕾来源 | 微信号tielei-blog正在阅读本文的读者们，可以阅读下线性一致性、顺序一致性以及因果一致性的分析文章。这些一致性模型的关键在于，它们定义了一个系统在分布式环...
2021-10-15 11:33:08
256
转载 向量时钟的本质
撰文 |陈清扬读到一篇ACM Queue上好文章（https://queue.acm.org/detail.cfm?id=2917756），与诸君分享。分布式系统中有两大问题：一没有全局...
2021-10-15 11:33:08
42
转载 李一鹏：一份让我无法拒绝的offer | OneFlow U
李一鹏，一流科技工程师。2016年，他本科毕业于中国科学技术大学，2021年获得纽约州立大学石溪分校博士学位。二次元爱好者，偏爱物语系列的忍野忍、游戏人生的白、绯弹的亚里亚等角色。在正式加...
2021-10-12 11:20:01
37
转载 基于OneFlow实现Unfold、Fold算子
撰文|zzk1从卷积层说起熟悉CNN的小伙伴应该知道卷积是一个很常用也很重要的操作，CNN里的卷积和信号处理的卷积并不是一回事，CNN的卷积是做一种二维的互相关运算，以《动手学深度学习...
2021-10-12 11:20:01
28
转载 用OneFlow实现数据类型自动提升
撰文 |zzk1问题引入我们先简单看下在PyTorch下的这几段代码，读者可以猜下最后输出的类型是什么：x_tensor=torch.ones((3,),dtype=torch....
2021-10-09 11:43:10
39
原创 GPU架构演进十年，从费米到安培
撰文 |Will Zhang随着软件从1.0进化到2.0，即从图灵机演进到类深度学习算法。计算用的硬件也在加速从CPU到GPU等迁移。本文试图整理从2010年到2020年这十年间的英伟达...
2021-10-09 11:43:10
726
转载 OneFlow框架添加算子实践：expand和repeat
本文主要介绍如何在 OneFlow 框架中实现 expand 和 repeat 算子的，也希望通过这篇文章展示 OneFlow 框架的一些特色。作者 | 梁德澎原文首发于公众号GiantP...
2021-10-05 12:45:07
65
转载 深度学习框架量化感知训练的思考及OneFlow的解决方案
作者 | BBuf原文首发于公众号GiantPandaCV0x0.总览相信不少小伙伴都了解或者使用了一些深度学习框架比如PyTorch，TensorFlow，OneFlow（也是笔者目前正...
2021-10-05 12:45:07
86
转载 OneFlow一次性得了两个奖
9月17日，在中国信通院发起的OSCAR 开源产业大会上，OneFlow社区获得“OSCAR尖峰开源项目及开源社区”奖项，同时，一流科技创始人&CEO袁进辉获得“OSCAR尖峰开源...
2021-09-30 12:31:17
78
原创 计算机架构史上的一次伟大失败，多数人都不知道
三十年以后，当乔希·费舍尔（Josh Fisher）向妻子回忆起MultiFlow创业的奥德赛之旅时，他一定非常怀念那个计算机历史上的“西部大开发”时代，那个各类人才风云际会，拥有各种宏大...
2021-09-30 12:31:17
9724
8
转载 OneFlow v0.5.0正式上线：四大特性实现轻快上手，高效、易用从此兼得
9月27日，在中关村论坛国际技术交易大会上，一流科技创始人&CEO袁进辉宣布深度学习框架OneFlow v0.5.0正式上线GitHub，他重点介绍了OneFlow v0.5.0的...
2021-09-29 17:32:53
77
转载 玩大模型，奖金50000元，是时候展示你真正的技术了
近年来，数据驱动的深度学习在很多领域取得了成功，而训练数据规模不断增大的同时，也发展出了许多大规模的预训练模型，其中GPT-3等模型甚至可以达到千亿级别的参数量。但由于训练大模型对硬件的要...
2021-09-29 17:32:53
59
转载 刘圻：第一次实习的彷徨消逝了 | OneFlow U
刘圻，目前在滑铁卢大学读大二，专业是计算机工程。在刚刚过去的暑期里，他在一流科技实习了三个月，主要做文档翻译和基础编程工作。作为他第一次企业实习的经历，他在OneFlow探查到了理论和实践...
2021-09-16 12:29:27
98
转载 OneFlow v0.5.0 预览版发布
今天是 OneFlow 开源的第 410 天，OneFlow 0.5.0 预览版发布。点击“阅读原文”，欢迎下载体验最新版本。本次版本更新包含以下重点：新增动态图特性：OneFlow 默认...
2021-09-14 12:45:20
122
转载 2021 OSCAR开源产业大会报名倒计时 | 免费
作为软件开发的基石，“开源”正在成为全球数字科技创新的关键。近年来，随着云计算、大数据、人工智能等技术的发展，我国也越来越重视开源的价值。为落实创新发展理念，推动科技强国建设，“十四五规划...
2021-09-14 12:45:20
97
转载 为OneFlow添加新的前端语言
撰文 |周泽楷在近期举办的开源之夏“暑期2021”活动中，来自OneFlow社区的开发者周泽楷分享了“为OneFlow添加新的前端语言”的项目经验。1简介任务介绍因为各种机缘巧合和历史的...
2021-09-08 12:15:40
57
转载 以OneFlow为例梳理深度学习框架的那些插值方法
撰文| BBuf原文首发于公众号GiantPandaCV这篇文章基于自己为OneFlow框架开发interpolate这个Op总结而来，OneFlow的interpolateOp 和 ...
2021-09-08 12:15:40
61
原创 并行机缔造者希利斯和思维机器的浮沉十年
新技术从不会凭空产生，都是继承、组合已有技术演变而来。技术史上，很多令人惊艳的技术、产品或组织成为绝无仅有的经典剖析样本，但时过境迁，那些源技术和缔造者们却逐渐被遗忘。并行机缔造者...
2021-08-15 10:08:19
1532
1
转载 基于OneFlow实现量化感知训练
本文介绍了量化感知训练的原理，基于OneFlow实现了一个量化感知训练Demo，并介绍了在具体实现中的各种细节。1后量化以及量化感知训练原理这里说的量化一般都是指的Google TFLit...
2021-08-09 11:36:39
98
1
原创 对抗软件系统复杂性③：恰当分层，不多不少
作者 |袁进辉在之前的文章里，我们探讨了诸如“如无必要，勿增实体”，“全局一致的概念（隐喻）"这些用来对抗软件系统复杂性的手段，强调了要较”克制“地使用抽象手段，即尽量用最少的概...
2021-08-09 11:36:39
830
转载 “我们决定去登月”
近100年前，在英国探险家乔治·马洛里准备向珠穆朗玛峰发起第二次登峰挑战时，记者问他为什么要攀登珠峰？一个朴素却闻名于世的回答脱口而出：因为它就在那里。60年前，为了鼓励美国人民支持阿波罗...
2021-08-02 12:30:57
134
原创 对抗软件系统复杂性②：全局一致，统一隐喻
撰文 | 袁进辉上一篇文章《对抗软件系统复杂性①：若无必要，勿增实体》中，我们讨论了用奥卡姆剃刀准则来对抗软件系统复杂性挑战，强调概念要精简，体现了”少即是多“（less is more)...
2021-07-31 11:15:03
948
转载 徐之秋：从游戏启蒙的00后AI工程师 | OneFlow U
徐之秋，一流科技工程师（实习），研发组的00后双子星之一。他在上海长大，初高中毕业于上海外国语大学附属外国语学校，今年9月，他将在加州大学伯克利分校读大三，专业是计算机科学和应用数学专业，...
2021-07-29 11:31:05
96
2
原创 对抗软件系统复杂性①：如无必要，勿增实体
撰文 | 袁进辉我们经常面临如何评价一个大型软件系统质量的问题。首要的评价指标肯定是功能，软件是否满足主要的需求(do right things)。如果有多条技术路径可以实现同样的功能，...
2021-07-28 11:46:49
588
原创 再谈“去虚拟化”对深度学习系统的必要性
撰文 |袁进辉上周写了一篇《浅谈GPU虚拟化与分布式深度学习框架的异同》，想不到引起很多关注和讨论。和朋友们讨论之后，觉得这个话题值得再发散一下：首先，文章只讨论了GPU“一分多”这种...
2021-07-20 11:04:35
1183
1
转载 对标TensorFlow、PyTorch，中国自主的AI框架砸向开源生态
本文授权转载自电子发烧友网，作者黄晶晶目前比较主流的AI深度学习框架主要由国际巨头领衔，比如谷歌的TensorFlow和Facebook的PyTorch等。2017年中国的一家初创团队悄悄...
2021-07-20 11:04:35
78
原创 浅谈GPU虚拟化和分布式深度学习框架的异同
撰文 | 袁进辉经常有人来问我：GPU虚拟化和分布式深度学习框架的异同，以及是不是用GPU虚拟化技术也可以解决现在超大规模深度学习模型的分布式训练难题。这次不妨把我的观点简要总结并分享出...
2021-07-17 08:07:36
336
原创 动态调度的“诅咒”| 原有深度学习框架的缺陷③
为什么要重新设计一个像OneFlow这样的分布式深度学习框架？一个显而易见的出发点是，我们看到了原有的主流深度学习框架的本质不足。尤其在抽象层面和API层面，它们的设计有种种不足，导致开...
2021-06-23 20:29:03
195
原创 梁德澎：当一个炼丹师去做框架开发 | OneFlow U
梁德澎，一流科技工程师。2017年，他研究生毕业于中山大学，读研实习期间，当时还在微软亚洲研究院（MSRA）工作的袁进辉成为他的实习生导师，也是在那里的空闲时间，他开始鼓捣深度学习框架。
2021-06-17 11:35:02
80
原创 OneFlow v0.4.0 正式发布
OneFlow v0.4.0 正式发布，这是自OneFlow开源以来的最大版本更新。本次更新新增了多项功能，主要有：增加了 2-D SBP、流水并行，Checkpointing 的新接口以及大量对齐 PyTorch 的接口，还支持 CUDA 11.2。
2021-06-15 19:46:04
72
原创 OneFlow登上“2021世界人工智能大会SAIL奖Top 30”榜单
近日，OneFlow新一代开源深度学习框架入选“2021世界人工智能大会SAIL奖TOP 30”榜单。
2021-06-10 12:04:17
106
原创 数据搬运的“诅咒” | 原有深度学习框架的缺陷②
为什么要重新设计一个像OneFlow这样的分布式深度学习框架？一个显而易见的出发点是，我们看到了原有的主流深度学习框架的本质不足。尤其在抽象层面和API层面，它们的设计有种种不足，导致开发者在使用时造成极大不便，尽管他们正在试图解决一些缺陷，但有些重要问题依然被忽视了。为此，我们将推出三篇系列文章，详细论述原有主流深度学习框架的运行时系统的三大“诅咒”，此为第2篇内容。本文将探讨数据搬运放进计算图的关键问题，以及使用回调函数的缺陷，最后，本文将介绍OneFlow的数据搬运是“一等公民”的理念。
2021-06-10 12:02:31
626
原创 资源依赖的“诅咒” | 原有深度学习框架的缺陷①
为什么要重新设计一个像OneFlow这样的分布式深度学习框架？一个显而易见的出发点是，我们看到了原有的主流深度学习框架的本质不足。尤其在抽象层面和API层面，它们的设计有种种不足，导致开发者在使用时带来了极大不便，尽管他们正在试图解决一些缺陷，但有些重要问题依然被忽视了。
2021-06-09 15:04:27
90
原创 训练GPT-3，为什么原有的深度学习框架吃不消？
本文将重点梳理深度学习框架在支持大规模预训练模型时面临的技术挑战，以及当前各类框架的基本解决思路，帮助算法工程师对业界各类框架的分布式训练能力有更清晰的认知。
2021-05-28 10:26:29
93
原创 张建浩：一个开源爱好者的框架开发之路 | OneFlow U
大学时，他曾在 GitHub 发布了一个 Android 控件，意外收获了 300 多个 Star，从此他开始深度探索开源世界，成为数个开源项目作者。一次，他在听完OneFlow创始人袁进辉的讲座后，觉得 OneFlow 很硬核，但当时自己做的工作和深度学习框架开发没什么关系。2020 年4 月，在一次“惊险的面试”后，他选择加入OneFlow。
2021-05-22 11:12:14
157
原创 后向重计算在OneFlow中的实现：以时间换空间，大幅降低显存占用
OneFlow目前支持了“gradient/activation checkpointing”（后向重计算）以实现亚线性内存优化，且对算法开发者非常友好，使用方式很简单：针对需要优化的网络部分，用一行代码将其包裹在“Checkpointing”的scope范围内即可，系统内部会针对此scope区域内的网络做分析并在训练过程中自动进行Checkpointing内存优化。
2021-05-21 12:20:21
126
转载 一流科技登上开源供应商名录
近日，中国信通院发布首批开源供应商名录。其中，一流科技凭借OneFlow新一代深度学习框架位列其中。开源供应商全景图（源自信通院）2021年1月底，中国信息通信研究院开展了第一批开源供应...
2021-05-20 17:56:45
47
空空如也
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝