GPT-5,吴恩达聊AI推理，mRNA，老黄送货上门-CSDN博客

本文链接：https://blog.csdn.net/ccc7574/article/details/138964147

奥特曼斯坦福演讲：专注当前AI局限性没用，GPT-5 让一切努力过时

奥特曼分享了他对 AI 未来发展的洞见，主要包括以下三个方面：

首先是 AI 进展迅速。GPT-4 之后的下一个 AI 模型（如 GPT-5）将更加强大，这表明该领域的进展速度惊人。奥特曼认为，GPT-5 会比GPT-4更聪明，GPT-6又会比GPT-5更聪明。我们远没有达到曲线的顶部。

虽然复刻 GPT-4 等现有模型已经很简单了，但真正的创新在于定义 AI 能力的下一个范式转变。
奥特曼将 AI 的潜力与 iPhone 对移动计算的变革性影响进行了比较。

其次是通向 AGI 之路。

OpenAI 的使命是实现 AGI，开源 AI 可能不是实现这一目标的最佳方法。
免费、无广告的 ChatGPT 是 OpenAI 追求其目标的同时积极影响社会的方式。为了让所有人都能用上 AI，重点应该是让 AI 计算变得更易承担并在全球范围内广泛使用，从而消除不平等。
作为一种旨在增强人类能力的工具，向 ChatGPT 注入情感是没有必要的。
无需担心超级 AI，因为与未来的模型相比，每个新模型都被认为是不足的，这样才能持续进步。

视频链接：https://mp.weixin.qq.com/s/9YYMc4dYb7zpHEg7hJRxEw

马斯克 xAI 拿到红杉美国等机构 60 亿美元投资！最新估值 180 亿美元

根据外媒 Information 消息，马斯克的 xAI正在筹集 60 亿美元，最新估值 180 亿美元，红杉资本是参与 xAI 轮融资的投资者之一，预计将在未来两周内完成，其他潜在投资者还包括先前传闻的 Steve Jurvetson 以及风险投资公司 Gigafund。据悉，新一轮融资规模是 xAI 今年早些时候与投资者讨论的融资规模的两倍。

去年 12 月，该公司披露计划在主要由马斯克支持的另一轮融资中筹集 10 亿美元。马斯克于 2023 年初推出了 xAI，并于去年 12 月向 X 上的高级订阅者发布了聊天机器人 Grok。据马斯克介绍，xAI 目前正在 20000 个 Nvidia H100 上训练第二代 Grok。

吴恩达：目前拥有的用于基础模型推理的计算资源也远远不够，但是成本在下降，所以未来可期

很多人都在谈论许多公司对更多计算资源(以及数据)的渴望,以训练更大的基础模型。

我认为,我们目前拥有的用于基础模型推理的计算资源也远远不够,这一点还没有得到足够的重视。

几年前,当我在谷歌、百度和斯坦福领导专注于扩展深度学习算法的团队时,许多半导体制造商、数据中心运营商和学术研究人员问我,如果他们继续提供更多的计算资源,我是否认为AI技术将继续很好地利用这些资源。

对于许多普通的桌面处理工作负载,如运行网络浏览器或文本编辑器,拥有更快的CPU在某种程度上并没有太大帮助。那么,我们真的需要越来越快的AI处理器来训练越来越大的模型吗?每次,我都自信地回答"是的!",并鼓励他们继续扩大计算规模。(有时,我半开玩笑地补充说,我从未遇到过一个机器学习工程师觉得自己有足够的计算资源。😀)

幸运的是,到目前为止,这个预测是正确的。

然而,除了训练之外,我相信我们也远未穷尽更快和更高容量推理的好处。

如今,大量LLM输出主要供人类使用。

人类可能每分钟阅读大约250个单词,这大约是每秒6个标记(250个单词/分钟/(0.75个单词/标记)/(60秒/分钟))。

因此,最初可能似乎生成标记的速度比这快得多没有多大价值。

但是在一个智能工作流程中,LLM可能会被反复提示以反思和改进其输出,使用工具,计划和执行一系列步骤,或实现多个相互协作的代理。在这种情况下,我们很容易生成数十万个甚至更多的标记,然后再向用户显示任何输出。这使得快速生成标记非常理想,而较慢的生成成为更好地利用现有基础模型的瓶颈。

幸运的是,训练和推理的成本似乎都在迅速下降。我最近与以看好技术而闻名的投资公司ARK的@CathieDWood和@CCRobertsARK交谈。他们估计AI训练成本每年下降75%。如果他们是对的,那么今年训练成本为1亿美元的基础模型,明年训练成本可能只有2500万美元。此外,他们报告说,"对于企业级用例,推理成本似乎以每年约86%的速度下降,甚至比训练成本下降得更快。"

我不知道这些具体预测最终会有多准确,但随着半导体和算法的改进,我确实看到训练和推理成本正在迅速下降。这将有利于应用程序构建者,并有助于AI智能工作流程的启动。