超长上下文窗口的天花板来了!
刚刚宣布新一轮3.2亿美元融资的AI编码初创新星Magic刚刚放出了一个重磅炸弹:
推出首个1亿上下文窗口的模型 LTM-2-mini!
图片
想一下,1亿上下文窗口,相当于你可以在prompt中直接丢给大模型1000万行代码或者750本英文小说,然后告诉大模型一次性消化这些内容,并从这些内容中得到你想要的答案,而不用再需要来一次微调、SFT,就可以极低成本的让大模型秒变成一个定制版的。
1.AI辅助编程的新角逐点:超长上下文窗口
AI辅助编程赛道非常卷,巨头投入的产品也不少,包括微软很早就投入的GitHub Copilot。但 Magic 的创新之一在于其模型的超长上下文窗口。
Magic 声称其最新型号 LTM-2-mini 拥有 1 亿个 token 上下文窗口。(token 是原始数据的细分位,例如单词“fantastic”中的音节“fan”、“tas”和“tic”。)1 亿个 token 相当于大约 1000 万行代码或 750 本小说。它是迄今为止所有商业型号中最大的上下文窗口;第二大是Google 的 Gemini 旗舰型号,拥有 200 万个 token。
PS:国内上一次掀起长文本窗口热潮的还是Kimi,可以处理200万字上下文。
Magic 将自己模型的架构称为“长期记忆网络”(Long-term Memory Network),简称“LTM”。
据本周四Magic官网博客中指出:目前AI模型有两种学习知识的来源:训练和推理过程中的上下文。但上下文因为太短了,所以训练占据主导地位。但超长文本可能会改变这一现状。
“我们的LTM模型不依赖于模糊记忆,而是经过训练,可以对推理过程中给予的多达1亿个上下文标记进行推理。……可以想象,如果模型中包含了代码、文档和库(公共互联网上不存在的内容),代码合成的质量将会有多么好。”
此外,Magic还披露了对于超长上下文方面的进展,通过思维链式哈希训练,LTM-2-mini的序列维度算法比Llama3.1 405B中的注意力机制还要便宜,是后者的1/1000。而在内存需要方面,LTM只需要每个用户单个HB100的一小部分。
图片
Magic 表示,得益于其长远背景,LTM-2-mini 能够为一个开源项目实现一个密码强度计,并几乎自主地使用自定义 UI 框架创建一个计算器。
图片
可以仅通过代码库和聊天,在无需打开文件、编辑记录或其他指示符的情况下就能实现自定义上下文框架
图片
该公司目前正在训练该模型的更大版本。
2.Magic的野心:自动编程仅是开始,AGI才是终极
Magic 的团队规模很小,只有二十几个人,而且没有什么收入,但Magic的野心很足,商业版图中,自动编程也仅是刚刚开始。
当然,首选编程赛道是一个明智的选择。据 Polaris Research 估计,到 2032 年,Magic 瞄准的市场价值可能达到 271.7 亿美元,投资者认为这是一项值得的、而且可能非常有利可图的尝试。
尽管人们对人工智能辅助编码工具的安全性、版权和可靠性存在担忧,但开发人员对它们表现出了热情, GitHub 最新民意调查中的绝大多数受访者表示,他们已经以某种形式采用了人工智能工具。微软 4 月份报告称,Copilot 拥有 超过 130 万付费用户和超过 50,000 个商业客户。
然而,Magic 的野心远不止于实现常规软件开发任务的自动化。该公司在网站上谈到了通往 AGI 的道路——即比人类更可靠地解决对齐等问题的人工智能。
图片
他们不只是说说而已,而是有了自己坚信的实现路径,他们希望结合前沿的预训练、特定领域的强化学习、超长上下文、测试时间计算这些技术来实现这一目标。
为了实现此类人工智能,总部位于旧金山的 Magic 最近聘请了 OpenAI 超级计算团队前负责人 Ben Chess,并计划扩大其网络安全、工程、研究和系统工程团队。
3.狂揽近5亿美金
Magic是一家人工智能初创公司,致力于创建模型来生成代码并自动执行一系列软件开发任务,该公司已从包括前谷歌首席执行官Eric Schmidt在内的投资者那里顺利筹集了巨额资金。
周四,Magic在一篇博客文章中表示,它完成了一轮 3.2 亿美元的融资,投资者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。这笔融资使该公司的总融资额达到近 5 亿美元(4.65 亿美元),使其跻身资金雄厚的 AI 编码初创公司行列,其成员包括Codeium、Cognition、Poolside、Anysphere和Augment。(有趣的是,施密特也支持 Augment。)
7 月份,路透社报道称,Magic 正寻求以 15 亿美元的估值筹集超过 2 亿美元。显然,这轮融资超出了预期,尽管这家初创公司目前的估值无法确定;Magic 在 2 月份的估值为 5 亿美元。
4.牵手巨头,与谷歌、英伟达进行合作
Magic 本周四还宣布与 Google Cloud合作,在 Google Cloud Platform 上构建两台“超级计算机”。Magic-G4 将由 Nvidia H100 GPU 组成,而 Magic G5 将使用 Nvidia 计划于明年上线的下一代 Blackwell 芯片 Nvidia GB200。
Magic 表示,其目标是将后者集群扩展到“数万个” GPU,并且这些集群一起将能够实现 160 百亿亿次浮点运算,其中 1 百亿亿次浮点运算相当于每秒一千万亿次计算机运算。
Magic 联合创始人兼首席执行官 Eric Steinberger 在一份声明中表示:“我们很高兴与谷歌和 Nvidia 合作,在谷歌云上打造我们的下一代人工智能超级计算机。Nvidia 的 [Blackwell] 系统将大大提高我们模型的推理和训练效率,而谷歌云为我们提供了最快的扩展时间表和丰富的云服务生态系统。”
5.创始人:从高中开始的极客生涯
Eric Steinberger和Sebastian De Ro于 2022 年共同创立了 Magic。在此前的采访中,Steinberger告诉 TechCrunch,他从小就被人工智能的潜力所启发;高中时,他和朋友们把学校的电脑连接起来,进行机器学习算法训练。
这段经历为Steinberger进入剑桥大学攻读计算机科学学士学位埋下了伏笔(一年后他退学了),后来他进入 Meta 担任人工智能研究员。De Ro来自德国业务流程管理公司 FireStart,在那里他一路晋升为首席技术官。Steinberger和De Ro在前者共同创建的环境志愿者组织 ClimateScience.org 相识,一拍即合创办了Magic。
Magic 开发了AI驱动的软件开发工具,旨在帮助软件工程师编写、审查、调试和规划代码更改。这些工具的运作方式类似于自动配对程序员,试图理解并不断学习各种编码项目的背景。
目前这些工具并不收费,但使用需要填写waitlist:
图片
6.写在最后:“小团队,高融资”屡见不鲜
AI时代的创业,似乎有一个“小团队,高融资”的现象:一个几人、十几人的小团队就可以融到上亿美元的融资(OpenAI掌舵人Altman的观点)。
同样Magic也是如此,目前该公司一共23名员工。不过硬实例也没得说:Infra方面,非常豪横,8000台H100;Magic团队此轮更是拿到了3.2亿美融资的融资,谷歌和和英伟达的支持;人才密度上,前OpenAI成员的加入更是如虎添翼。
回到AI产品领域,我们看到大模型的研究前沿,正在悄然发生变化,之前发展得重点是在训练层面的参数规模、数据多模态,而现在我们看到的是推理能力的进化:超长文本、推理时间计算、强化学习、对齐等。
可以看到,AI辅助赛道的角逐,已经成为了这波AI创业浪潮中的一个风向标。