Meta MobileLLM

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

人工智能在未来面临巨大的威胁：能源限制。以当前的标准来看，世界能源电网将无法满足对人工智能产品的预期需求。因此，拥有强大的、参数少于十亿的小语言模型（SLMs），即比GPT-4或Claude 3小数千倍的模型，不仅是一个很好的选择，而且是这个领域生存的必要条件。Meta提出了各种算法创新来创建MobileLLM，这是一种新的最先进模型，可能很快成为这一规模的标准，并防止所有人工智能爱好者预见的伟大承诺最终成为空话。

人工智能在未来将面临许多问题，其中一个主要问题是能源供应。假设技术现状保持不变，我们可能很快面临真正的GPU短缺。NVIDIA未能满足大科技公司在资本支出方面的投资需求，导致了一次由资本支出驱动的GPU短缺。然而，未来可能会出现相对于需求的真正GPU短缺，一旦世界开始大量使用LLMs。根据Meta的数据，在一个大多数人每天仅使用LLMs 5%的未来，我们将需要一亿个NVIDIA H100 GPU来为GPT-4提供服务，以达到每秒50个令牌的可接受延迟。

此外，全球对人工智能的预期需求将导致更严重的能源问题。大多数人认为搜索增强的LLMs（长时间推理模型）是解决方案。这些LLMs在直接响应您的请求之前探索解决方案空间，生成多达数百万个可能的响应，然后才定下来。这种范式不仅使平均令牌生成增加了数量级，还可能需要验证者，即在作者寻找解决方案时验证每个想法的附加模型。

然而，边缘人工智能或“设备上”的语言模型可能是一个解决方案，因为这些模型可以在我们个人设备的电池上运行，从而不需要GPU数据中心。然而，这需要克服质量和电池方面的挑战。目前，最好的AI结果来自文件大小远超TB（太字节）范围的模型，而这些模型在智能手机上的存储和运行存在困难。此外，Meta研究人员计算，在0.1 J/令牌消耗的情况下，一个每秒输出10个令牌的LLM将在两小时内耗尽整个电池。

为了应对这些挑战，Meta提出了一些创新方法，例如在较小规模上使用标准的SwiGLU激活函数，并且优先选择更深的网络结构而不是更宽的。研究人员还提出了共享嵌入和解嵌层，以及分组查询注意力来减少KV缓存的约束。此外，他们发现通过重复块来减少内存层次之间的通信开销可以提高准确性。

总的来说，Meta的研究专注于务实，而不是追求AGI或超级智能等遥远的目标。尽管资本支出投资巨大，但实际收入却相形见绌。过分关注“达到AGI”不仅对资本的有效使用不利，而且在能源方面也不可行。Meta的工作表明，提供卓越性能的次十亿LLMs是人工智能领域的未来方向，这将有助于缓解对云服务的巨大需求，并防止能源危机。