OneFlow深度学习框架

本文将详细解答许多人心中的一个关键问题——AI的资金都流向了哪里？作者从AI行业的全局视角出发，将AI的价值系统性地分解成了不同的部分，并通过诸多数据点深入分析了具体话题。（本文由OneFlow编译发布。转载请联系授权：https://artificialintelligencemadesimple.substack.com/p/the-current-state-of-ai-markets-gu...

四年前，我对开源机器学习生态系统进行了分析。自那时起，情况就发生了变化，所以这次我打算重新讨论这个话题，本次主要关注的是基础模型的技术栈。我把完整的开源AI代码库列表放在了“llama-police”(https://huyenchip.com/llama-police，该列表每6小时更新一次。其余大部分也放在了我的GitHub“c...

一般而言，机器学习团队理解GPU使用情况的常见度量标准是GPU利用率，通常通过在终端中运行nvidia-smi来查看。许多集成的可观测性工具也将GPU利用率作为其主要性能指标进行跟踪。然而，AI Infra团队Trainy在实操中发现，GPU利用率并不总是理解GPU性能的最佳指标。实际上，在不做任何计算的情况下读取/写入内存，就可达到100%的GPU利用率！本文作者Roanak Baviskar在...

矩阵乘法（MatMul）是深度学习中的主要计算瓶颈，尤其在ChatGPT等Transformer模型中，矩阵乘法的运行时长约占其总运行时长的45-60%，解决这一挑战对发展更经济的大模型具有重要意义。为此，加州大学的研究人员在论文《Scalable MatMul-free Language Modeling（可扩展的无矩阵乘法语言模型构建）》 中试图通过消除矩阵乘法来构建更便宜、耗能更少的语言模型...

8月6日，OpenAI联合创始人、ChatGPT架构师John Schulman宣布离职，将加入另一家由前OpenAI员工Dario Amodei创办的大模型公司Anthropic。近9年前，Schulman在研究生毕业后加入OpenAI，成为创始团队的一员。他是深度强化学习的早期先驱之一，很多人不知道的是，他也是ChatGPT项目的负责人，是他领导了ChatGPT的秘密武器RLHF（人类反馈的强...

作为一家刚成立不到两年的新公司，AI搜索新星Perplexity与搜索巨头Google和AI先锋OpenAI展开竞争，争夺未来搜索领域的一席之地。目前，Perplexity已经拥有数以千万计的用户，不过，该团队的成员还不到50人。更令人振奋的是，这个年轻团队已经实现了超过2000万美元的...

截至目前，语言模型越来越大，能力也越来越强，但过去的表现能预测未来吗？一种流行的观点是，我们应该期待当前的趋势继续保持下去，并且出现更多数量级，这最终可能会引领我们实现AGI。本文作者认为，这种观点来自于一系列神话和误解。从表面上看，规模扩展（Scaling）具有可预测性，但这是对研究成果的误解。此外，有迹象表明，LLM开发者已经接近高质量训练数据的极限。而且，模型行业正面临着模型尺寸的强烈下行压...

在生成式人工智能时代的投资选择中，风投公司对“铲子型”初创企业的浓厚兴趣，这些企业的业务涵盖了模型微调、可观测性分析、以及人工智能的“抽象化”服务（例如，将AI Inference作为服务）等。人们预测，随着初创公司和企业将人工智能技术纳入其产品组合，他们可能不愿意或无法在内部构建这些技术能力...

这是一个激动人心的时代，所有人都能够利用语言大模型（LLM）进行各种各样的产品构建。过去一年里，LLM已经达到了“足够好”的水平，可以应用于现实世界的场景，并且模型每年都在迭代，变得更好、更便宜。伴随着社交媒体上的一系列产品演示，预计到2025年，AI领域的...

处在生成式人工智能（GenAI）技术变革的浪潮上，人们对这一将降低成本和产生利润的强大工具充满了期待。然而，ChatGPT爆火一年后，GenAI产业还没有形成像当前云服务产业那样的价值结构，后者的上层应用占据价值链中的大部分比例，并获取了大部分利润，基础设施软件层的利润次之，而硬件层分到的“蛋糕”最少。与之相反，在GenAI领域，硬件层却占据了近90%的利润率。蓦然回首，大家发现，整个产业链基本都...

本文要点概览：文本数据的扩展可能已经达到了极限，因为易于获取的网络文本资源（如Common Crawl、GitHub、ArXiv等）已基本被充分利用。尽管如此，通过更深入地挖掘互联网资源、搜寻图书馆藏书及使用合成数据，我们仍有望获得新的文本数据，但要实现数据量级的大幅提升却面临重重挑战——这些新增的数据更可能是当前数量级上的增量。规模扩展竞...

本文作者ArsenyKapoulkine从零开始开发了语言大模型推理的一种实现方式calm（https://github.com/zeux/calm），旨在以最少的实现和无依赖性的方式为LLM架构获得最大的单 GPU 单批次硬件利用率，该项目的其中一个关键考虑因素是确定推理的极限速度，并根据该极限来衡量相对进展。他在本文中探讨这一理论极限及其影响。如果你对进一步的推导和图表感兴趣，他在这份笔记(...

2019年，强化学习之父、阿尔伯塔大学教授Richard Sutton发表了后来被AI领域奉为经典的The Bitter lesson，这也是OpenAI研究员的必读文章。在这篇文章中，Richard指出，过去 70 年来，AI 研究的一大教训是过于重视人类既有经验和知识，而他认为最大的解决之道是摒弃人类在特定领域的知识，利用大规模算力才是王道。这一思想很快得到了OpenAI首席科学家Ilya S...

与ChatGPT面世后的疑惑类似，视频生成大模型Sora发布之后，人们依然在问同样的问题：为什么OpenAI能做出这样的创新成果？要知道，世界上不乏人才密集、有钱、有数据的公司，但能持续做出划时代产品的团队寥寥无几。可以肯定的是，除了OpenAI团队中关键少数的技术远见，这些重量级产品的实现与他们的组织运作密不可分。那么，这些人到底是如何被组织起来的，他们有什么样的组织形态和文化？在Lenny R...

当前的人工智能领域正通过生成式人工智能（GenAI）经历一场重大转变。这一转变不仅代表了技术上的飞跃，更标志着人工智能领域的范式转变，引发了有关GenAI的独特特性及其深远影响的关键问题讨论。植根于计算革命的丰富历史，本文从计算复杂性角度出发，探索推理和知识的本质，将历史性成就与最新的进展巧妙地交织在一起，以丰富我们对人工智能的理解。（本文作者为吕坚平博士。以下内容经授权后由OneFlow编译发布...

本文是一篇关于加快语言大模型推理速度的综合指南。从硬件优化到各种解码技巧，文章介绍了各种优化策略，旨在帮助读者更好地理解和优化LLM的性能。相信不论是这一领域的初学者或是专家，都能从中有所收获。本文作者为工程师和计算语言学家Theia。（以下内容由OneFlow编译发布，转载请联系授权。原文：https://vgel.me/posts/faster-inference/）作者 |TheiaOne...

选择正确的LLM推理栈意味着选择适合你的任务的正确模型，并配以适当的推理代码在适当的硬件上运行。本文介绍了流行的LLM推理堆栈和设置，详细说明其推理的成本构成；并讨论当前的开源模型以及如何充分利用它们，同时还涉及当前开源服务栈中仍然缺失的功能，以及未来模型将解锁的新功能。本文源自MistralAI首席技术官Timothée Lacroix的演讲。他于2015年在Facebook AI Resea...

GI何时会到来？如果我们能不断扩展LLMs++的规模（并因此取得更好和更通用的性能），就有理由期望到2040年（或更早）出现强人工智能，它能够自动化大部分认知劳动并加速人工智能研究。然而，如果扩展（scaling）不起作用，那么实现AGI的道路则会变得更加漫长、棘手。为全面探讨有关扩展的正反观点，我构造了两个虚构角色（正...

本文分析了机器学习硬件性能的最新趋势，重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。本文作者来自调研机构Epoch，致力于研究AI发展轨迹与治理的关键问题和趋势。（本文由OneFlow编译发布，转载请联系授权。原文：https://epochai.org/blog/trends-in-machine-learning-...

LLMPerf是一个开源项目，旨在帮助用户对语言模型进行基准测试，并使其性能具有可复现性。它能够帮助用户评估不同LLM的性能，并根据具体任务做出明智的决策。该项目选择了多个指标来衡量LLM的性能，包括吞吐量、时延、内存使用和成本等。本文介绍了如何使用LLMPerf进行基准测试，并提供了一些实用的技巧和建议。此外，本文还对当前最流行的LLM进行了基准测试，并提供了详细的结果和分析。需要说明的是，LL...

2017年，Google发布的《Attention Is All You Need》论文提出了Transformer架构，这成为过去十年神经网络领域最具影响力的技术创新之一，并被广泛应用于NLP、计算机视觉、蛋白折叠等诸多领域。更重要的是，它成为后来包括ChatGPT在内的诸多大模型的基石。不过，T...

本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT-3.5 的成本更低、速度更快。基于上述评估维度，作者特别指出，LLaMA-2 等开源模型更适合以提示为主的任务，而 GPT-3.5 等闭源模型更适合以生成为主的任务。...

如今，很多公司都被迫加快步伐，参与到开源语言大模型（LLM）的竞争之中。发布某种形式的开源语言大模型已成为机器学习公司实力的象征。最近，Mistral AI 完成资金筹集，发布了一款拥有 70 亿参数的强大语言模型。尽管更多人参与到开源机器学习生态系统中是有益的，也被很多人视为一个重要的发展趋势，但现在我们需要转变视角，推动...

2022年11月30日，OpenAI发布ChatGPT，以很多人未曾预料的速度迅速走红。与此同时，由于短时间内用户量的暴涨，导致服务器过载，迫使OpenAI停止新用户的注册。ChatGPT发布这一年，同样的情景发生了好几次。在最近的OpenAI开发日之后，使用量再度激增，随后OpenAI宣布暂停新用户使用其付费服务。这背后体现了大模型提供规模化服务时运维的重要性。Evan Morikawa是Ope...

近几个月来，语言大模型（LLM）的广泛公开部署引起了倡导者、政策制定者和许多领域学者们的新一轮关注和参与。Anthropic技术团队成员、纽约大学助理教授Samuel R. Bowman总结了八个可能引发思考的观点，并讨论了LLM还存在的局限性。即便没有针对性的创新，LLM的能力也会随着投资的增加而可预估地增强LLM中的一些重要行为往往作为增加投资的“副产品”不可预测地出现LLM经常学习并使用外部...

ChatGPT的发布是语言大模型（LLM）发展史的转折点，它让人们意识到LLM的潜力，并引发了“AI竞赛”，世界上主要人工智能实验室和初创公司都参与其中。在这之后，基于LLM的聊天机器人层出不穷。ChatGPT及相关LLM模型让我们共同见证了AI的历史性变革，很多人好奇，LLM和它们的运作方式究竟是怎样的？它们是如何被构建的？未来又将走向何方？本文对此进行了深入探讨。本文作者Etienne Ber...

目前英伟达因其 GPU 芯片在 AI 革命中扮演着核心角色，使其成为AI时代最赚钱的公司。本文作者Pete Warden总结了铸就英伟达 AI 霸主地位的四点优势：几乎无人运行大规模机器学习应用；英伟达的替代品都很糟糕；研究人员掌握着硬件采购的风向舵；训练时延的影响。随着 AI 技术的发展，Pete 预测，上述优势将逐渐发生变化：英伟达在整体 AI 市场中的份额占比将下降，虽然 AI 市场整体...

在这篇文章中，MosaicML工程师团队分享了如何在生产环境中充分利用流行开源语言大模型（LLM）的最佳实践。此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。这些指南是MosaicML工程师团队基于FasterTransformers、vLLM以及NVIDIA的TensorRT-LLM等背后的经验总结而来。Mos...

在LLM领域，开源究竟意味着什么？假设开源社区拥有了真正的开源LLM，其权重、数据集、代码和基础设施都可公开获取，我们又将从中获得哪些重要收益？本文作者为Vikram Sreekanti和Joseph E. Gonzalez，前者是Aqueduct的联合创始人及CEO，后者是加州大学伯克利分校的教授和Run LLM联合创始人，他们就开源的重要性与核心价值进行了探讨。

回头来看，ChatGPT的横空出世验证了Ilya Sutskever此前预想的AI发展方向。在OpenAI成立早期，强化学习大牛Pieter Abbeel曾与Ilya共事，在他看来，Ilya对AI的思考总是走在他人的前面，而为了验证自己的想法，他总是在恰当的时间更换自己的工作处境，并做出了领域内最具开创性的工作...

上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。最新发布的语言大...

随着AI领域的快速发展，OpenAI预言超级智能将在十年内出现。对人类而言，超级智能既是机遇也是挑战，它可以帮助人类解决很多重大问题，但也可能产生巨大风险，因此，超级智能对齐问题成为人们当下关注的重点，我们需要确保超级智能与人类整体意志保持一致，让它们理解和满足人类的愿望与需求。近期，OpenAI承诺将目前为止获得的计算资源中的20%用于对齐超级智能，并成立了一个名为“超级对齐（Superali...

PyTorch是目前最受欢迎的深度学习框架之一，初始版本于2016年9月由Adam Paszke、Sam Gross、Soumith Chintala等人创建，并于2017年在GitHub上开源。因其简洁、易用、支持动态计算图且内存使用高效，PyTorch受到众多开发者的喜爱，并被广泛应用于支持科学研究以及ChatGPT等应用的开发。此外，PyTorch有一个活跃的大型开源社区，提供了丰富的教程、...

如果 AI 如此重要，那么为什么软件如此糟糕？创办 Modular 之前，这是让LLVM 之父 Chris Lattner 困扰已久的问题。随后，他与 TensorFlow 的前产品同事 Tim Davis 合作研究模块化解决方案，以解决人工智能开发中庞大、单一、分散的平台问题。2022 年，他们以 3000 万美元的种子资金...

自ChatGPT面世以来，以它为代表的闭源 AI 备受关注，简单易用的特性使其占据了行业主导。尽管以LLaMA 为代表的开源 AI 进展迅猛，但业内也流行三个反对开源的观点：开源 AI 无法与行业实验室的优势资源竞争；开源 AI 缺乏安全性；开源 AI 无法进行推理（reasoning）。本文作者 Varun Shenoy 在AI 基础设施公司Baseten 从事机器学习推理工作，他并不认同当...

AI 寒冬曾造成机器学习和 AI 对齐之间的分歧，上世纪 90 年代，AI 对齐领域天马行空的畅想与机器学习的惨淡现实形成了鲜明对比，人们普遍对机器学习的发展持悲观态度。自2010年以来，以深度神经网络为代表的 AI 技术飞速发展，AI 对齐随之成为被逐渐重视的研究方向。AGI 是 AI 技术发展的终极目标，鉴于这项技术的深远影响，近期在旧金山举办的AI对齐论坛的演讲上，OpenAI 首席科学家 ...

9月26日，OpenAI宣布ChatGPT新增了图片识别和语音能力，使得ChatGPT不仅可以进行文字交流，还可以给它展示图片并进行互动，这是一次ChatGPT向多模态进化的重大升级。OpenAI联合创始人，ChatGPT架构师John Schulman此前认为，添加多模态功能会给大模型带来极大的性能提升...

继ChatGPT、GPT-4引爆语言大模型之后，近日发布的代码解释器（Code Interpreter）又将这一领域推向了高潮。代码解释器是ChatGPT插件更新的一部分，可以读取上传的文件，执行代码，生成图表，进行统计分析等功能。在7月6日至8日，代码解释器已推向约200万的ChatGPT Plus用户。OpenAI科学家Andrej Karpathy认为，代码解释器堪称个人数据分析师。不过，社...

基于学习方法，机器学习大致可分为监督学习和无监督学习两种。在无监督学习中，我们需要用某种算法去训练无标签数据集，从而帮助模型找到这组数据的潜在结构。为了进行无监督学习，在OpenAI成立早期，他们认为通过压缩可以通向这一路径。随后，他们发现“预测下一个词元（token）”正是无监督学习可以追求的目标，并且意识到，预测就是压缩。这也正是后来ChatGPT成功的关键思想之一。他们通过不断训练自回归生成...

ChatGPT等大模型带来的震撼技术革新，让Geoffrey Hinton突然改变了自己的一个想法。这位75岁的“人工智能教父”意识到，数字智能优于生物智能的进程无法避免，超级智能很快就会到来，他必须要对其风险发出警示，而人类需要找到一种方法来控制AI技术的发展。而在此之前，他一直认为，智能机器人不会像...