【AI知识】模型参数的量级单位

在使用大模型时，经常看到多少B或者多少M的模型，或者是他的上下文长度为多少K，下面就是对这些常见单位量级的理解：

• K（Kilo, 千）：表示 1,000。在机器学习模型中，通常用来描述较小模型的参数量，比如 100K（十万）参数。
• M（Million, 百万）：表示 1,000,000。一般用于中等规模的模型，比如 BERT-base（110M）。
• B（Billion, 十亿）：表示 1,000,000,000。大型模型通常达到这一量级，比如 GPT-3（175B）。
• T（Trillion, 万亿）：表示 1,000,000,000,000。这代表非常巨大的参数量。GPT-4
  的一些版本和其他超大规模模型已经达到甚至超过 1T 参数。