大概在6个小时之前,也就是在我们睡熟的时候。
Grok开源了。
Grok是马斯克旗下XAI的大语言模型项目。在此之前,有一个在线的内测版,只有推特的订阅用户可以体验。
快来看一下新鲜出炉的Grok-1开源版。
从官网主页的大标题下面,可以知道Grok的两个特点。
-
超级大,拥有3140亿的参数规模。
-
使用专家混合模型(Mixture-of-Experts)
另外,还有一些信息。
模型的数据应该是截止于2023年10月。
项目遵循Apache2.0许可。
除此之外并没有太多介绍内容。
但是,仅 3140亿这一点,就已经足够震惊世人了。
时至今日,我们已经听过或者用过很多开源模型了。
但是他们开源的版本基本不是很大。
比如国外开源模型领头羊Llama,国内的Qwen等。
Llama模型有四个尺寸,分别是:
-
Llama-7B:参数规模为70亿,是LLaMA模型中最小的版本。
-
Llama-13B:参数规模为130亿,比Llama-7B大一倍。
-
Llama-34B:参数规模为340亿,比Llama-13B大两倍半。
-
Llama-65B:参数规模为650亿,是LLaMA模型中最大的版本
Qwen模型有六个尺寸,分别是:
-
Qwen-1.8B:参数规模为18亿,是Qwen模型中最小的版本。
-
Qwen-7B:参数规模为70亿,比Qwen-1.8B大四倍。
-
Qwen-14B:参数规模为140亿,比Qwen-7B大一倍。
-
Qwen-72B:参数规模为720亿,比Qwen-14B大五倍。
-
Qwen-1.5B-72B:参数规模从1.5B到72B,提供更细粒度的选择。
可以看到,他们中最大的模型才720亿参数。
另外我们再来看看一些闭源模型
比如文心一言传言是2600亿参数。
OpenAI GPT3.5是1750亿参数。
Grok直接一把放出了3140亿参数的模型数。
无论开源闭源,这个参数量,都是相当巨大了。
大部分情况下,很多企业即便有这种规模的模型,也绝对不可能开源给大家用,比如...
马斯克觉得OpenAI应该改名CloseAI,今天他终于跨出实质性的一步,开源了自己的模型。
模型综合实力尚未可知,但是这种开源精神值得赞赏。希望围绕Grok能搞出一些有意思的东西。
另外提醒一下国内的某些公司,快,马斯克开源了,快去...
然后立马宣布自主研发,遥遥领先!
另外,提醒一下老马,你能不能关心一下我们这种“弱势群体”,搞个mini版Grok啊!所有人都能玩的模型,才是好模型!