Snowflake 开源其大型语言模型 : 给自己挖坑??

对Arctic 的决定,我有以下看法:

一、投入资源开发开源语言模型可能会分散 Snowflake 对其核心业务的注意力,但考虑到他们最近在战略和 AI 人才招募方面的大动作,这一举措也算合情合理。新任 CEO 的工程实力不容小觑,Arctic 在多个任务上的出色表现就是证明。

二、Arctic 在规模和结构复杂性上都创下了开源语言模型的新高度。480B 的参数量、密集-稀疏混合架构、128个专家模型,同时兼顾了推理效率,设计相当巧妙。不过 Meta 凭借其庞大算力,搞不好会靠暴力堆砌规模取胜,效率优化的意义可能不大。

三、Snowflake 与 Nvidia 在优化推理效率上的密切合作值得关注。通过 FP8 量化,Arctic 可以在单张 GPU 上进行推理,在批量为1时每秒可生成70多个 token,已经能实现不错的交互体验。业界对 Nvidia NIMS 等技术的接受度看来不低。

四、尽管 Arctic 展现了优异的性能,但 Llama 3 仅靠海量数据和算力,无需微调就在专门任务上追平了 Arctic。这再次印证了规模定律的威力。相比之下,Databricks 投入了更多资源,模型性能却不如 Arctic,要么是为宣传而夸大了训练数据量,要么是在数据处理和管理上技不如人。

五、Snowflake 还宣称其微调版 Arctic 在 MTEB 检索任务上达到业界最佳,这意味着他们将开源当前最强的 RAG 语言模型。在 GenAI 时代,RAG 必将成为数据服务平台的一个核心应用场景,这一点让人相当期待。

总的来说,尽管 Arctic 模型令人印象深刻,但巨头们靠堆砌算力和数据取胜的可能性依然很大。作为数据服务公司,Snowflake 选择开源顶尖语言模型以展示技术实力,其意图还是很明显的。接下来值得关注的是,Arctic 能在多大程度上帮助 Snowflake 实现其在 GenAI 领域的商业雄心,以及 Snowflake 是否能在与 Databricks、AWS 等对手的竞争中胜出。GenAI 时代的数据服务平台之战才刚刚开始。