- 博客(282)
- 资源 (64932)
- 收藏
- 关注
原创 在国产GPU上体验大模型Grok-1
Grok-1的激活参数数量为860亿,表明其在处理语言任务时的潜在能力强大,同时使用旋转嵌入位置编码,这是一种处理序列数据的方法,可以提高模型处理长文本的能力,上下文长度最大支持8192个tokens。在海光DCU上运行Grok-1模型,不仅展示了其卓越的计算性能,还证明了国产GPU在大语言模型领域的巨大潜力。Grok-1是马斯克旗下的xAI公司开源的大语言模型,参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿,是迄今为止参数量最大的开源大模型。1# 1.拉取docker镜像。
2024-12-10 13:17:52 748
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人