聊聊Grok1？

Grok1开源了

首先很遗憾的是，尽管Grok开源了，作为普通大众也是没法享受到真正体验。就在昨天刚看到这个消息的时候，本人便去github中下载了代码
源码地址：https://github.com/xai-org/grok-1 ，当天的时候打开了文件看下怎么那么短（黑人脸问号）当时也没有太多的在意，毕竟手上还有其他事情要先忙着。
今天看到代码之后，按照操作指引，在自己的破电脑上进行了按照各种依赖之后。
好家伙，jax[cuda12_pip]==0.4.25 -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html，点击了链接一看，全都是Linux的wheel。瞬间各种资料查询（放弃）！

Grok真的太大了

仔细看了readme后，发现可以通过磁力链接下载，（magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce）。好像我的网络下载不了？相关的分享提到了，文件773个，大小将近了300个G……这让我只有20G的梯子望而止步？希望后面有可以在某盘中看到它的影子。

源码分析

Model Specifications

Grok-1 is currently designed with the following specifications:

• Parameters: 314B
• Architecture: Mixture of 8 Experts (MoE)
• Experts Utilization: 2 experts used per token
• Layers: 64
• Attention Heads: 48 for queries, 8 for keys/values
• Embedding Size: 6,144
• Tokenization: SentencePiece tokenizer with 131,072 tokens
• Additional Features:
  • Rotary embeddings (RoPE)
  • Supports activation sharding and 8-bit quantization
• Maximum Sequence Length (context): 8,192 tokens