- 博客(288)
- 收藏
- 关注
RSS订阅原创 YOLOv5全面解析教程③：更快更好的边界框回归损失
边界框回归是目标检测的关键步骤，在现有方法中，虽然被广泛用于边界框回归，但它不是针对评估指标量身定制的，即 Intersection over Union (IoU)。最近，已经提出了 IoU 损失和 generalized IoU (GIoU) Loss 作为评估 IoU 的指标 ，但仍然存在收敛速度慢和回归不准确的问题。在本文中，我们通过结合预测框和目标框之间的归...
2023-02-02 08:03:02
43
原创 开源机器学习软件对AI的发展意味着什么？
为什么要关注机器学习开源软件（MLOSS）？在我们看来，MLOSS对AI发展来说举足轻重，但未获重视。机器学习开源软件是开源许可下发布的专为机器学习而设计的计算机软件。机器学习开源软件包括框架（如PyTorch和Pyro）、“一体化”软件包（如scikit-learn）以及模型开发工具（如TensorBoard），但不包括Ju...
2023-01-31 08:03:17
746
原创 “一键”模型迁移，性能翻倍，多语言AltDiffusion推理速度超快
为了推进 AIGC 行业的降本增效，同时也回应用户的热情要求，OneFlow 正在将业内备受欢迎的相关 Diffusion 模型的加速“一网打尽”。此前，OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代，极大提升了文生图的速度，在 AIGC 领域引发巨大反响，并得到了 Stability.ai 官方的支持。不过，由于目前大部分团队主要是基于翻译 API + 英文...
2023-01-30 08:03:13
660
1
原创 Sam Altman的成功学｜升维指南
“如果把Sam Altman扔到某个食人族之岛，5年后他会成为这个食人族岛的国王。“在硅谷创业教父Paul Graham的眼里，Sam Altman是一位极具魄力的领导者和开拓者。如今，已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。他的职业生涯可谓一路开挂。从斯坦福大学计算机系辍学后，19岁的他成立了位置服务提供商Loopt，而后被预付借记卡业务公司Green...
2023-01-29 08:03:13
498
原创 OneFlow v0.9.0正式发布
今天是 OneFlow 开源的第 903 天，OneFlow v0.9.0 正式发布。本次更新包含 640 个 commit，完整更新列表请查看链接：https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0，欢迎下载体验新版本，期待你的反馈。OneFlow v0.9.0主要包括以下新增亮点功能和优化：1. PyTorch 兼容性OneF...
2023-01-20 08:11:31
2424
5
原创 GLM国产大模型训练加速：性能最高提升3倍，显存节省1/3，低成本上手
2017 年，Google 提出了 Transformer 架构，随后 BERT 、GPT、T5等预训练模型不断涌现，并在各项任务中都不断刷新 SOTA 纪录。去年，清华提出了 GLM 模型（https://github.com/THUDM/GLM），不同于上述预训练模型架构，它采用了一种自回归的空白填充方法， 在 NLP 领域三种主要的任务（自然语言理解、无条件生成、...
2023-01-19 08:03:50
2021
原创 “零”代码改动，静态编译让太乙Stable Diffusion推理速度翻倍
AI 作图领域的工具一直不尽人意，直到去年 8 月 Stable Diffusion 开源，成为AI 图像生成领域无可争辩的划时代模型。为了提升其推理效率，OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代，极大提升了文生图的速度，在AIGC领域引发巨大反响，并得到了 Stability.ai 官方的支持。至今，OneFlow 还在不断刷新 SOTA ...
2023-01-18 09:10:31
2574
原创 35张图，直观理解Stable Diffusion
最近，AI图像生成引人注目，它能够根据文字描述生成精美图像，这极大地改变了人们的图像创作方式。Stable Diffusion作为一款高性能模型，它生成的图像质量更高、运行速度更快、消耗的资源以及内存占用更小，是AI图像生成领域的里程碑。在接触了AI图像生成以后，你可能会好奇这些模型背后的工作原理。下面是对Stable Diffusion工作原理的概述...
2023-01-13 08:03:39
2832
原创 编程的终结；展望2023年AI系统方向；AI的下一个阶段
1.OpenAI掌门人Sam Altman：AI的下一个发展阶段各种AI工具已显现出巨大的日常应用潜力，可以实现人类的各种想法，改善人类的工作方式，比如由Stability.ai发布的开源Stable Diffusion模型，Microsoft和OpenAI联合打造的AI编程工具Copilot，OpenAI开发的语言生成模型GPT-3和图像生成平台DALL-E以及爆火的聊天机器人模型ChatGP...
2023-01-10 08:03:35
5404
原创 2023年AI十大展望：GPT-4领衔大模型变革，谷歌拉响警报，训练数据告急
新年伊始，大模型的话题热度不减。2022年11月底，ChatGPT展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么，比如是否会颠覆搜索引擎市场格局。踏入2023年，这不禁让我们对GPT-4的发布充满遐想，它会比ChatGPT更上一层楼吗？会有哪些不一样的惊喜？岁末年初之际，科技圈的年度盘点不胜枚举，相关技术预测倒是不多。本文作者Rob Toews发布了2...
2023-01-05 09:08:13
12990
17
原创 OneFlow源码解析：静态图与运行时
OneFlow静态图的训练效率远高于动态图（eager模式）。本文试图通过一个简单例子，结合v0.8.0版本的代码，解读一下静态图和运行时的实现机制。在开始之前，建议先读一下参考资料中《OneFlow框架的系统设计（https://zhuanlan.zhihu.com/p/337851255）》等系列文章。对静态图、运行时的基本概念和设计理念有基本的了解，会更...
2023-01-04 08:03:52
2791
原创 ChatGPT的一小步，NLP范式转变的一大步
在此前《ChatGPT进化的秘密》一文中，本文作者剖析了ChatGPT的技术路线图。而在ChatGPT发布前，作者详细介绍了大模型的突现能力、以及它在NLP/ML任务中的潜在优势，以此来探讨大模型所带来的“潜在的”范式转变。显然，后来ChatGPT所展现出的强大能力，将这种转变的步伐扎实地推进了一大步。
2022-12-30 09:58:38
4120
原创 TorchDynamo初探：Python ByteCode的动态修改
深度学习框架编译优化时，需要先根据计算逻辑形成一个逻辑计算图，然后再改写计算图，最后执行改写后的计算图。其中生成逻辑计算图方式有两种。一种计算图生成是基于 trace tensor 的，跟踪 tensor 的执行路径。tensor 执行时，基于函数重载，可以落到支持 tensor 计算的框架自定义函数，该函数一般是 c++ 层的。c++ 层的自定义函数中，功能是用于生成一个...
2022-12-29 08:03:53
2440
1
原创 如何看待PyTorch 2.0？
为什么是TorchDynamoGraph capture 把用户 Python 写的模型代码变成 graph，是一切编译的根基。而 PyTorch 在试了这么多方案之后似乎已经锁定 TorchDynamo 作为 graph capture 的未来方向了，所以写一点关于 TorchDynamo 的内容，主要是解释到底为什么要做这个东西（离开FB一年了，内容主要凭自己的猜测和理解)。一句...
2022-12-29 08:03:53
7457
2
原创 32篇年度最佳AI论文；Python编译器Codon开源；ChatGPT的前世今生
1.2022年最佳AI论文32篇：DALL·E 2、Stable Diffusion、ChatGPT等入选大模型和文生图、跨模态是今年毫无疑问的热点，此外也有多篇GAN等视觉领域的文章。GitHub上还有这些论文的短视频和文字解读、代码链接等。从论文的主要贡献机构来看（有些机构虽然有贡献但排名较后有挂名嫌疑的，都被忽略不计了），似乎可以反映出各公司在AI领域的江湖地位：第一档：Google 8篇...
2022-12-27 08:03:28
4770
原创 YOLOv5全面解析教程②：如何制作训练效果更好的数据集
本文主要介绍 One-YOLOv5 使用的数据集格式以及如何制作一个可以获得更好训练效果的数据集。本节教程的数据集标准部分翻译了 Ultralytics/YOLOv5 wiki 中对数据集相关的描述(https://github.com/ultralytics/yolov5/wiki/Tips-for-Best-Training-Results) 。代码仓库地址...
2022-12-22 08:03:13
4333
1
原创 ChatGPT进化的秘密
致国内的同胞们：在国际学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型 (Bert/ Bart/T5) 的区别，几乎是导弹与弓箭的区别，一定要引起最高程度的重视。在我跟国际同行的交流中，国际上的主流学术机构 (如斯坦福大学，伯克利加州大学) 和主流业界研究院（如谷歌大脑，微软研究院）都已经全面拥抱大模型。在当前这个阶段，国内的技术水准、学术视野、治学理念和国际前沿的差距似乎并没有减少，反而正在扩大，如果现状持续下去，极有可能出现技术断代。
2022-12-21 08:03:27
8770
7
转载 MMEval正式支持OneFlow评测
1MMEval 介绍MMEval（https://github.com/open-mmlab/mmeval）是一个跨框架的机器学习算法评测库，提供高效准确的分布式评测以及多种机器学习框架后端支持，具有以下特点：提供丰富的计算机视觉各细分方向评测指标（自然语言处理方向的评测指标正在支持中）支持多种分布式通信库，实现高效准确的分布式评测支持多种机器学习框架，根据输入自动分发对应实现MMEval 的架构...
2022-12-21 08:03:27
657
原创 对比PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题
最近，我在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，我开始学习 PyTorch 2.0。在业余时间，我也在跟着Alpa作者学习JAX和XLA。如今回顾这些技术，我发现它们的关注点似乎都是如下两个问题：包含自动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；异构计算，CPU 负责控制流，GPU/TPU 负责张...
2022-12-20 08:03:22
3917
原创 OpenAI掌门人Sam Altman：AI的下一个发展阶段
预告了一整年的GPT-4迟迟没来，人们猜想OpenAI是不是要跳票了，更何况他们之前的得意之作DALL-E也被开源Stable Diffusion打了个措手不及，再不来点深水炸弹业界地位危矣。不过，就在大家以为今年OpenAI将以沉寂收场时，聊天机器人模型ChatGPT横空出世，让人们看到了AI的更大创造力，聚光灯也再度打到了OpenA...
2022-12-15 10:23:30
17678
21
原创 YOLOv5全面解析教程①：网络结构逐行代码解读
本教程涉及的代码在：https://github.com/Oneflow-Inc/one-yolov5教程也同样适用于 Ultralytics/YOLOv5，因为 One-YOLOv5 仅仅是换了一个运行时后端而已，计算逻辑和代码相比Ultralytics/YOLOv5 没有做任何改变，欢迎 star 。详细信息请看：一个更快的YOLOv5问世，附送全面中文解...
2022-12-13 08:03:45
3290
原创 关于ChatGPT的一切；CUDA入门之矩阵乘；PyTorch 2.0发布｜AI系统前沿动态
1.截止目前，关于ChatGPT的一切ChatGPT是GPT3的一大飞跃，就像GPT3本身是GPT2的质的飞跃一样。目前，关于ChatGPT的解读内容数量和种类繁多，让人跟上非常困难，容易患错失恐惧症。因此，作者整理了一个笔记，并尝试给出一个连贯、简洁的ChatGPT阅读摘要，帮助读者更为清晰和简洁地了解ChatGPT。链接：https://lspace.swyx.io/p/everything-...
2022-12-08 08:03:52
6245
原创 一块RTX 3090加速训练YOLOv5s，时间减少11个小时，速度提升20%
很高兴为大家带来One-YOLOv5的最新进展，在《一个更快的YOLOv5问世，附送全面中文解析教程》发布后收到了很多算法工程师朋友的关注，十分感谢。不过，可能你也在思考一个问题：虽然OneFlow的兼容性做得很好，可以很方便地移植YOLOv5并使用OneFlow后端来进行训练，但为什么要用OneFlow？能缩短模型开发周期吗？解决了任何痛点吗？本篇文章将尝试回答这几个问题。我曾经也...
2022-12-07 08:03:59
6956
1
原创 下载量突破10亿，MinIO的开源启示录
MinIO，这家创立于2014年11月的公司旨在解决非结构化数据增长的需求，开发了流行于业界的开源云存储软件MinIO。近期，MinIO宣布其Docker下载量突破10亿大关。与此同时，MinIO在Slack上拥有超20000名成员，并在GitHub上获得超3600个Star，这使得MinIO进入了GitHub仓库排名的前250名（...
2022-12-06 08:03:43
5476
2
转载 ONNX 新特性大解读和最佳实践分享｜直播预告
ONNX 作为深度学习模型的中间格式，在模型训练到部署的流程中扮演了重要的作用。我们经常听到 “ONNX 药丸” 的说法，原因是 ONNX 算子定义落后、周边功能不完善，但最近许多头部公司加大了对 ONNX 的人力投入，除了新增和改进算子定义之外，也实现了很多新的基础功能（function op、parser、training 支持、reference runtime、onnx hub 等）。与此...
2022-12-06 08:03:43
801
原创 刷新AI作图速度，最快的开源Stable Diffusion出炉
第一辆汽车诞生之初，时速只有 16 公里，甚至不如马车跑得快，很长一段时间，汽车尴尬地像一种“很酷的玩具”。人工智能作图的出现也是如此。AI 作图一开始的 “风格化” 本身就为 “玩” 而生，大家普遍兴致勃勃地尝试头像生成、磨皮，但很快就失去兴趣。直到扩散模型的降临，才给 AI 作图带来质变，让人们看到了 “AI 转成生产力” 的曙光：画家、设计师不用绞尽脑汁思考色彩、构图，只要告诉 Diffus...
2022-12-01 08:03:25
6309
2
原创 OneFlow源码解析：自动微分机制
深度学习框架一般通过自动微分（autograd）机制计算梯度并反向传播。本文尝试通过一个简单的例子，粗浅地观察一下OneFlow的autograd的实现机制。
2022-11-29 11:03:14
3786
1
原创 YOLOv5全面解析教程①：网络结构逐行代码解析
本教程涉及到的代码在 https://github.com/Oneflow-Inc/one-yolov5，教程也同样适用于 ultralytics/yolov5 因为 one-yolov5 仅仅是换了一个运行时后端而已，计算逻辑和代码相比于 ultralytics/yolov5 没有做任何改变，欢迎 star 。
2022-11-28 10:52:01
3294
原创 Vision Transformer这两年
在NLP领域取得巨大成功后，Transformer架构在计算机视觉方面的作用日渐凸显，成为越来越普遍的CV工具。自2020年10月Vision Transformer模型推出以来，人们开始高度关注Transformer模型在计算机视觉上的应用。
2022-11-24 11:23:11
5609
4
原创 Stable Diffusion半秒出图；VLIW的前世今生；YOLOv5全面解析教程 | AI系统前沿动态
1. Stable Diffusion采样速度翻倍！仅需10到25步的扩散模型采样算法自研深度学习编译器技术的 OneFlow 团队更是在不降低采样效果的前提下，成功将之前的 “一秒出图” 缩短到了 “半秒出图”！在 GPU 上仅仅使用不到 0.5 秒就可以获得一张高清图片！这基于清华大学朱军教授带领的 TSAIL 团队所提出的DPM-Solver，一种针对于扩散模型特殊设计的高效求解器：该算法无...
2022-11-22 08:35:53
4881
原创 OneFlow-ONNX v0.6.0正式发布
OneFlow-ONNX v0.6.0正式发布。新版本提升了转换接口的易用性，开发了多个新特性，并新增支持6种模型以及20多种算子，此外，还修复了6个转换过程中的bug。更新详情请查看链接：https://github.com/Oneflow-Inc/oneflow_convert/releases/tag/v0.6.0欢迎通过下列代码一键安装使用，期待你的反馈
2022-11-17 08:03:24
2589
原创 大模型狂潮背后：AI基础设施的“老化”与改造工程
机器学习模型逐渐发展成人们口中的“庞然大物”。全球顶尖的科技公司纷纷踏上“军备竞赛”之路，立志训练出规模最大的模型（MUM、OPT、GPT-3、Megatron），而其他专注于生产系统的公司也相继扩大其原有模型，并取得良好成果。一切如火如荼，然而，鲜少有人提及，庞大的模型给现有的AI基础设施和开发流程...
2022-11-16 08:04:19
3469
转载 今晚19:30｜DataFunSummit 2022 AI基础软件架构峰会圆桌会
11月16日（今天）19:30-21:00，OneFlow创始人袁进辉受邀参加 DataFunSummit 2022 AI基础软件架构峰会圆桌会，将与各位业内专家在线上做深度交流，欢迎扫码预约收看。主持人郑曌，第四范式技术副总裁，OpenMLDB项目发起人。LF AI & Data Foundation Board member, NextArch Foundation TOC membe...
2022-11-16 08:04:19
586
转载 大模型狂欢背后：AI基础设施的“老化”与改造工程
作者｜River Riddle、Eric Johnson、Abdul Dakak翻译｜胡燕君、杨婷机器学习模型逐渐发展成人们口中的“庞然大物”。全球顶尖的科技公司纷纷踏上“军备竞赛”之路，立志训练出规模最大的模型（MUM、OPT、GPT-3、Megatron），而其他专注于生产系统的公司也相继扩大其原有模型，并取得良好成果。一切如火如荼，然而，鲜少有人提及，庞大的模型给现有的AI基础设施和开发流程...
2022-11-16 08:04:19
322
原创 李白：你的模型权重很不错，可惜被我没收了
大噶好，年更楼主今天想推的是，主打分布式训练的模型库_李白（LiBai）。https://github.com/Oneflow-Inc/libai对于目前市面上的模型库来说，选择实在是太多了，换了一批又一批，眼睛都挑花了，为什么要用LiBai？（如果你觉得LiBai万一某天能用到，或者这篇文章读下来感觉比较开心，可以去GitHub上点赞，如果能三连就更好了。众所周知，GitH...
2022-11-10 09:35:42
5986
原创 首个中文Stable Diffusion模型开源；TPU演进十年；18个PyTorch性能优化技巧 | AI系统前沿动态...
1. TPU演进十年：Google的十大经验教训希腊神话中，特洛伊战争的起因是两方争夺世界上最美的女人——海伦，后世诗人将海伦的美貌“令成千战舰为之起航”。TPU就像海伦，它的出现引起了“成千芯片与之竞逐”。可以说，TPU的问世引发了硅谷的“地震”。TPU宣布诞生后，Intel耗资数十亿美元收购了多家芯片公司，阿里巴巴、Amazon等竞争对手纷纷开始研发类似产品。TPU重新唤起了人们对计算机架构的...
2022-11-03 08:03:39
3905
原创 一个更快的YOLOv5问世，附送全面中文解析教程
作为计算机视觉领域的基础性技术，目标检测在业界具有广泛应用，而YOLO系列因其综合性能较好，成为广受欢迎的首选框架。这次，为了让用户深入了解 OneFlow 训练目标检测模型的可行性以及性能的优越性，我们将 Ultralytics 版 YOLOv5（https://github.com/ultralytics/yolov5）通过 import oneflow as torch 的方式迁移为 One...
2022-11-01 08:03:07
6147
原创 机器学习编译器的前世今生
我承认，在大学的编译器课上哭了，后来我选择成为一名机器学习工程师，以为再也不用被编译器烦扰。然而，当我逐渐了解ML模型如何投入生产应用，关于编译器的问题不断涌现。在许多用例中，尤其是用边缘设备运行ML模型时，模型的成功与否仍然取决于运行它的硬件（https://hardwarelottery.github.io/）。因此，了解模型的编译和优化，以...
2022-10-27 08:03:42
8554
4
原创 OneFlow源码解析：Global Tensor
类似于PyTorch中的普通Tensor，在OneFlow中称为Local Tensor。Local Tensor是单卡视角下的普通Tensor。与之相对，OneFlow中还有一个独有的概念——Global Tensor。Global Tensor是指被placement和SBP属性所指定的，一个全局视角下的逻辑Tensor。Global Tensor的sh...
2022-10-25 08:23:35
3556
原创 开源风暴吞噬AI界？从Stable Diffusion的爆火说起
近日，文本生成图像模型Stable Diffusion背后的公司Stability AI宣布获得了1.01亿美元超额融资，估值达10亿美元，这家基于开源社区的“草根”企业的风头一时间甚至盖过了业界顶级研究机构OpenAI。本文作者认为，尽管开源项目存在商业模式、开源许可协议等方面的挑战，但通过良好开源社区的驱动，AI项目的技术发展、应用广度和创造空间都有了意想不到的发展，正如开源“吞噬”软件1.0...
2022-10-20 12:33:26
3858
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人