- 博客(309)
- 收藏
- 关注
RSS订阅原创 GPT-4，大增长时代的序幕
虽然我们早在 2017 年就预测了超大模型的到来，因此才搞了分布式深度学习框架OneFlow（github.com/Oneflow-Inc/oneflow/），且 2020 年的 GPT-3 也掀起了大模型热潮（OneFlow——让每一位算法工程师都有能力训练 GPT），但当时各项测试屠榜的 GPT-3 的超高训练成本和大模型落地难的问题一直困扰业界。2022 年是互联网寒冬，在杭州...
2023-03-22 08:03:53
171
原创 OpenAI创始人：GPT-4的研究起源和构建心法
三十年前，互联网（Web 1.0）时代开启。人们只能在笨重的电脑上用鼠标点击由HTML编写的网页文本，随后开始支持插入图片，可以上传视频，于是有了网络新闻、搜索、电子邮件、短信、网游......互联网带来了全新的商业模式，深刻改变了人们的生产生活。三十年后的当下，以ChatGPT为代表的大模型问世了。起初人们拿它当玩具，直到ChatGPT的诞生与人类实现惊...
2023-03-20 08:03:30
3983
1
原创 GPT-4问世；LLM训练指南；纯浏览器跑Stable Diffusion
1.多模态GPT-4正式发布：支持图像和文本输入，效果超越ChatGPTOpenAI的里程碑之作GPT-4终于发布，这是一个多模态大模型（接受图像和文本输入，生成文本）。主要能力有：GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力：更具创造性和协作性；可以接受图像作为输入并生成说明文字、分类和分析；能够处理超过 25,000 个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分...
2023-03-15 06:50:59
4120
原创 YOLOv5全面解析教程⑥：模型训练流程详解
欢迎Star、试用One-YOLOv5：https://github.com/Oneflow-Inc/one-yolov51结构项目预览2安装gitclonehttps://github.com/Oneflow-Inc/one-yolov5#clonecdone-yolov5pipinstall-rrequirements.txt#in...
2023-03-09 12:06:40
2585
原创 One-YOLOv5 v1.2.0发布：支持分类、检测、实例分割
One-YOLOv5 v1.2.0正式发布。完整更新列表请查看链接：https://github.com/Oneflow-Inc/one-yolov5/releases/tag/v1.2.0，欢迎体验新版本，期待你的反馈。1新版本特性1. 同步了UltralyticsYOLOv5的上游分支v7.0，同时支持分类、目标检测、实例分割任务2. 支持flask_rest_api3. 支持使用 wand...
2023-03-09 12:06:40
2067
原创 ChatGPT作者John Schulman：我们成功的秘密武器
除了OpenAI，外界可能很少有人知道ChatGPT模型成功的真正原因，实际上，OpenAI也会对ChatGPT拥有的巨大影响力感到不可思议。这种困惑和惊喜就像工程师们解bug时获得的意外成功：We don't know why, but it works.一种普遍的看法是，ChatGPT没有任何革命性技术，正如Meta 首席AI科学家Y...
2023-03-08 08:38:49
6040
1
原创 适配PyTorch FX，OneFlow让量化感知训练更简单
近年来，量化感知训练是一个较为热点的问题，可以大大优化量化后训练造成精度损失的问题，使得训练过程更加高效。Torch.fx在这一问题上走在了前列，使用纯Python语言实现了对于Torch.nn.Module的解析和向IR的转换，也可以提供变换后的IR对应的Python代码，在外部则是提供了简洁易用的API，大大方便了量化感知训练过程的搭建。此外，T...
2023-03-06 08:15:11
444
原创 Jasper狂飙：AIGC现象级应用的增长秘笈
随着ChatGPT开放自己的API，不少人开始期待AIGC应用大爆发。不过与大模型的进展类似，中国在AIGC应用上也滞后了。在ChatGPT出来前，AIGC应用在国外率先开枝散叶，除了Google、Meta这些科技巨头外，有OpenAI，做出Stable Diffusion的Stability.ai这样非常知名的公司，还有Midjourney、Jasper等做出“杀手级”应用的创业公司迅速崛起。其...
2023-03-03 08:03:51
2245
原创 超越ChatGPT：大模型的智能极限
在此前《大型语言模型的涌现能力》、《ChatGPT进化的秘密》两篇文章中，符尧剖析了大型语言模型的突现能力和潜在优势，大模型所带来的“潜在的”范式转变，并拆解了ChatGPT演进的技术路线图。在本文中，作者以终为始分析了大模型的智能极限及其演进维度。不同于刻舟求剑式只追求复现ChatGPT的经典互联网产品思维，而是指出了OpenAI组织架构和尖端人才密度的重要性，更重要的是，分享了模型演化与产品迭...
2023-03-01 08:03:43
4289
原创 编译器技术的演进与变革
本文节选自书籍《多面体编译理论与深度学习实践》，为了满足OneFlow读者朋友的学习热情，OneFlow联合清华大学出版社将为读者赠书5本，在文末分享你对计算机架构和编译器相关领域的见解，获赞最多的5条留言将分别获赠此书一本。活动截止时间为3月3日20:00。在过去的数十年里，摩尔定律一直支配着半导体行业的发展路线，随着晶体管尺寸的不断变小单个芯片上集成的晶体管数量越来越多。最新的 NVIDIA ...
2023-02-28 08:03:36
2728
原创 YOLOv5全面解析教程⑤：计算mAP用到的Numpy函数详解
本文主要介绍在One-YOLOv5项目中计算mAP用到的一些numpy操作，这些numpy操作使用在utils/metrics.py中。本文是《YOLOv5全面解析教程④：目标检测模型精确度评估》的补充，希望能帮助到小伙伴们。欢迎Star、试用One-YOLOv5：https://github.com/Oneflow-Inc/one-yolov5用到的numpy操...
2023-02-24 08:03:25
1522
原创 一块GPU搞定ChatGPT；ML系统入坑指南；理解GPU底层架构
1. 跑ChatGPT体量模型，从此只需一块GPU在发展技术，让大模型掌握更多能力的同时，也有人在尝试降低AI所需的算力资源。最近，一种名为FlexGen的技术因为「一块RTX 3090跑ChatGPT体量模型」而获得了人们的关注。虽然FlexGen加速后的大模型看起来仍然很慢 —— 跑1750亿参数的语言模型时每秒1个token，但令人印象深刻的是，它已经把不可能变成了可能。传统上，大型语言模型...
2023-02-23 08:03:43
4477
原创 ChatGPT背后：从0到1，OpenAI的创立之路
ChatGPT一出，OpenAI名声大震，CEO Sam Altman也成为聚光灯下的C位主角，有些报道甚至开始了对他的“造神”运动。年少成名，他不到30岁就成为YC总裁，从2019年GPT-3开始，他开始主导OpenAI的运营事务，并取得了如今的非凡成就。他擅长将企业发展从1放大到1000，但自OpenAI创立到GPT-2的发布期间，，还有更多的故事。Greg Brockman是将OpenAI从...
2023-02-21 12:09:37
7558
2
原创 YOLOv5全面解析教程④：目标检测模型精确度评估
指标评估（一些重要的定义）IOU(Intersection Over Union) 基于Jaccard索引，用于评估两个边界框之间的重叠程度。它需要一个真实回归框 (a ground truth bounding box)和一个预测回归框(a pr...
2023-02-17 08:03:32
1741
原创 ChatGPT搜索风暴
搜索引擎的市场格局已经有二十年没有什么大的变化，如今，Google和微软两大巨鳄的交锋再度上演。ChatGPT风靡之时，搜索成为大型语言模型（LLM）应用之争的最大战场。在LLM技术进程方面，Google的相关大模型研发实际上与OpenAI的ChatGPT差不多齐头并进。但刚刚仓促推出的Bard显得很被动，Google官方的解释是，他们需要考虑新技术对社会的影响，不想推出一个漏洞百出的搜索系统。不...
2023-02-16 12:23:31
5381
1
原创 ChatGPT数据集之谜
半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI“。不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，就知道在短期内打造一个比肩甚至超越ChatGPT效果的模型没那么简单。让很多人不免感到诧异的是，ChatG...
2023-02-14 08:47:21
11823
1
原创 OneFlow源码解析：Eager模式下的SBP Signature推导
OneFlow 的 Global Tensor 有两个必要属性：Placement：决定了 tensor 数据分布在哪些设备上。SBP：决定了 tensor 数据在这些设备上的分布方式。例如：split：将切分后的不同部分放到不同设备；同时指定切分的 axis。broadcast：将数据复制到各个设备。如果参与运算的 tensor 的 SBP 不一样，结果 tensor 的...
2023-02-10 08:03:59
2569
原创 开源ChatGPT要来了；软件2.0智能革命；GLM、Diffusion模型大加速
1. 2023年AI十大展望：GPT-4领衔大模型变革，谷歌拉响警报，训练数据告急新年伊始，大模型的话题热度不减。ChatGPT展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么。本文作者Rob Toews发布了2023年AI发展的十大预测，整体来看，大部分预测都离不开“大模型”这个关键词，具体分析也有其道理。当然，其中的文生图、人形机器人等领域的发展也举...
2023-02-09 08:03:28
14567
1
原创 ChatGPT背后的经济账
ChatGPT能否取代Google、百度这样的传统搜索引擎？为什么中国不能很快做出ChatGPT？当前，对这些问题的探讨大多囿于大型语言模型（LLM）的技术可行性，忽略或者非常粗糙地估计了实现这些目标背后的经济成本，从而造成对LLM的开发和应用偏离实际的误判。本文作者从经济学切入，详细推导了类ChatGPT模型搜索的成本、训练GPT-3以及绘制LLM成本轨迹的通用框架，为探讨LLM成本结构和其未来...
2023-02-07 08:03:08
20294
10
原创 YOLOv5全面解析教程③：更快更好的边界框回归损失
边界框回归是目标检测的关键步骤，在现有方法中，虽然被广泛用于边界框回归，但它不是针对评估指标量身定制的，即 Intersection over Union (IoU)。最近，已经提出了 IoU 损失和 generalized IoU (GIoU) Loss 作为评估 IoU 的指标 ，但仍然存在收敛速度慢和回归不准确的问题。在本文中，我们通过结合预测框和目标框之间的归...
2023-02-02 08:03:02
3063
原创 开源机器学习软件对AI的发展意味着什么？
为什么要关注机器学习开源软件（MLOSS）？在我们看来，MLOSS对AI发展来说举足轻重，但未获重视。机器学习开源软件是开源许可下发布的专为机器学习而设计的计算机软件。机器学习开源软件包括框架（如PyTorch和Pyro）、“一体化”软件包（如scikit-learn）以及模型开发工具（如TensorBoard），但不包括Ju...
2023-01-31 08:03:17
5765
原创 “一键”模型迁移，性能翻倍，多语言AltDiffusion推理速度超快
为了推进 AIGC 行业的降本增效，同时也回应用户的热情要求，OneFlow 正在将业内备受欢迎的相关 Diffusion 模型的加速“一网打尽”。此前，OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代，极大提升了文生图的速度，在 AIGC 领域引发巨大反响，并得到了 Stability.ai 官方的支持。不过，由于目前大部分团队主要是基于翻译 API + 英文...
2023-01-30 08:03:13
3216
1
原创 Sam Altman的成功学｜升维指南
“如果把Sam Altman扔到某个食人族之岛，5年后他会成为这个食人族岛的国王。“在硅谷创业教父Paul Graham的眼里，Sam Altman是一位极具魄力的领导者和开拓者。如今，已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。他的职业生涯可谓一路开挂。从斯坦福大学计算机系辍学后，19岁的他成立了位置服务提供商Loopt，而后被预付借记卡业务公司Green...
2023-01-29 08:03:13
13370
8
原创 OneFlow v0.9.0正式发布
今天是 OneFlow 开源的第 903 天，OneFlow v0.9.0 正式发布。本次更新包含 640 个 commit，完整更新列表请查看链接：https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0，欢迎下载体验新版本，期待你的反馈。OneFlow v0.9.0主要包括以下新增亮点功能和优化：1. PyTorch 兼容性OneF...
2023-01-20 08:11:31
5180
5
原创 GLM国产大模型训练加速：性能最高提升3倍，显存节省1/3，低成本上手
2017 年，Google 提出了 Transformer 架构，随后 BERT 、GPT、T5等预训练模型不断涌现，并在各项任务中都不断刷新 SOTA 纪录。去年，清华提出了 GLM 模型（https://github.com/THUDM/GLM），不同于上述预训练模型架构，它采用了一种自回归的空白填充方法， 在 NLP 领域三种主要的任务（自然语言理解、无条件生成、...
2023-01-19 08:03:50
4826
原创 “零”代码改动，静态编译让太乙Stable Diffusion推理速度翻倍
AI 作图领域的工具一直不尽人意，直到去年 8 月 Stable Diffusion 开源，成为AI 图像生成领域无可争辩的划时代模型。为了提升其推理效率，OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代，极大提升了文生图的速度，在AIGC领域引发巨大反响，并得到了 Stability.ai 官方的支持。至今，OneFlow 还在不断刷新 SOTA ...
2023-01-18 09:10:31
5212
原创 35张图，直观理解Stable Diffusion
最近，AI图像生成引人注目，它能够根据文字描述生成精美图像，这极大地改变了人们的图像创作方式。Stable Diffusion作为一款高性能模型，它生成的图像质量更高、运行速度更快、消耗的资源以及内存占用更小，是AI图像生成领域的里程碑。在接触了AI图像生成以后，你可能会好奇这些模型背后的工作原理。下面是对Stable Diffusion工作原理的概述...
2023-01-13 08:03:39
9753
2
原创 编程的终结；展望2023年AI系统方向；AI的下一个阶段
1.OpenAI掌门人Sam Altman：AI的下一个发展阶段各种AI工具已显现出巨大的日常应用潜力，可以实现人类的各种想法，改善人类的工作方式，比如由Stability.ai发布的开源Stable Diffusion模型，Microsoft和OpenAI联合打造的AI编程工具Copilot，OpenAI开发的语言生成模型GPT-3和图像生成平台DALL-E以及爆火的聊天机器人模型ChatGP...
2023-01-10 08:03:35
11127
1
原创 2023年AI十大展望：GPT-4领衔大模型变革，谷歌拉响警报，训练数据告急
新年伊始，大模型的话题热度不减。2022年11月底，ChatGPT展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么，比如是否会颠覆搜索引擎市场格局。踏入2023年，这不禁让我们对GPT-4的发布充满遐想，它会比ChatGPT更上一层楼吗？会有哪些不一样的惊喜？岁末年初之际，科技圈的年度盘点不胜枚举，相关技术预测倒是不多。本文作者Rob Toews发布了2...
2023-01-05 09:08:13
15899
21
原创 OneFlow源码解析：静态图与运行时
OneFlow静态图的训练效率远高于动态图（eager模式）。本文试图通过一个简单例子，结合v0.8.0版本的代码，解读一下静态图和运行时的实现机制。在开始之前，建议先读一下参考资料中《OneFlow框架的系统设计（https://zhuanlan.zhihu.com/p/337851255）》等系列文章。对静态图、运行时的基本概念和设计理念有基本的了解，会更...
2023-01-04 08:03:52
3875
原创 ChatGPT的一小步，NLP范式转变的一大步
在此前《ChatGPT进化的秘密》一文中，本文作者剖析了ChatGPT的技术路线图。而在ChatGPT发布前，作者详细介绍了大模型的突现能力、以及它在NLP/ML任务中的潜在优势，以此来探讨大模型所带来的“潜在的”范式转变。显然，后来ChatGPT所展现出的强大能力，将这种转变的步伐扎实地推进了一大步。
2022-12-30 09:58:38
6649
2
原创 TorchDynamo初探：Python ByteCode的动态修改
深度学习框架编译优化时，需要先根据计算逻辑形成一个逻辑计算图，然后再改写计算图，最后执行改写后的计算图。其中生成逻辑计算图方式有两种。一种计算图生成是基于 trace tensor 的，跟踪 tensor 的执行路径。tensor 执行时，基于函数重载，可以落到支持 tensor 计算的框架自定义函数，该函数一般是 c++ 层的。c++ 层的自定义函数中，功能是用于生成一个...
2022-12-29 08:03:53
3256
1
原创 如何看待PyTorch 2.0？
为什么是TorchDynamoGraph capture 把用户 Python 写的模型代码变成 graph，是一切编译的根基。而 PyTorch 在试了这么多方案之后似乎已经锁定 TorchDynamo 作为 graph capture 的未来方向了，所以写一点关于 TorchDynamo 的内容，主要是解释到底为什么要做这个东西（离开FB一年了，内容主要凭自己的猜测和理解)。一句...
2022-12-29 08:03:53
9166
2
原创 32篇年度最佳AI论文；Python编译器Codon开源；ChatGPT的前世今生
1.2022年最佳AI论文32篇：DALL·E 2、Stable Diffusion、ChatGPT等入选大模型和文生图、跨模态是今年毫无疑问的热点，此外也有多篇GAN等视觉领域的文章。GitHub上还有这些论文的短视频和文字解读、代码链接等。从论文的主要贡献机构来看（有些机构虽然有贡献但排名较后有挂名嫌疑的，都被忽略不计了），似乎可以反映出各公司在AI领域的江湖地位：第一档：Google 8篇...
2022-12-27 08:03:28
8491
原创 YOLOv5全面解析教程②：如何制作训练效果更好的数据集
本文主要介绍 One-YOLOv5 使用的数据集格式以及如何制作一个可以获得更好训练效果的数据集。本节教程的数据集标准部分翻译了 Ultralytics/YOLOv5 wiki 中对数据集相关的描述(https://github.com/ultralytics/yolov5/wiki/Tips-for-Best-Training-Results) 。代码仓库地址...
2022-12-22 08:03:13
5545
1
原创 ChatGPT进化的秘密
致国内的同胞们：在国际学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型 (Bert/ Bart/T5) 的区别，几乎是导弹与弓箭的区别，一定要引起最高程度的重视。在我跟国际同行的交流中，国际上的主流学术机构 (如斯坦福大学，伯克利加州大学) 和主流业界研究院（如谷歌大脑，微软研究院）都已经全面拥抱大模型。在当前这个阶段，国内的技术水准、学术视野、治学理念和国际前沿的差距似乎并没有减少，反而正在扩大，如果现状持续下去，极有可能出现技术断代。
2022-12-21 08:03:27
14050
11
转载 MMEval正式支持OneFlow评测
1MMEval 介绍MMEval（https://github.com/open-mmlab/mmeval）是一个跨框架的机器学习算法评测库，提供高效准确的分布式评测以及多种机器学习框架后端支持，具有以下特点：提供丰富的计算机视觉各细分方向评测指标（自然语言处理方向的评测指标正在支持中）支持多种分布式通信库，实现高效准确的分布式评测支持多种机器学习框架，根据输入自动分发对应实现MMEval 的架构...
2022-12-21 08:03:27
851
原创 对比PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题
最近，我在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，我开始学习 PyTorch 2.0。在业余时间，我也在跟着Alpa作者学习JAX和XLA。如今回顾这些技术，我发现它们的关注点似乎都是如下两个问题：包含自动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；异构计算，CPU 负责控制流，GPU/TPU 负责张...
2022-12-20 08:03:22
5022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人