这两天,法国初创公司Mistral AI开源的一个Mixtral 8x7B MoE模型引爆了AI社区。
一是因为它的性能击败了LLama2和GPT-3.5。
二是因为,Mixtral是一个专家混合模型(Mixture-of-Experts model,MoE),使用了传闻中 OpenAI 用于GPT-4的架构,但是参数相比GPT-4要小很多,堪称是缩小版“GPT-4”。
而且这个模型还开源了,Mistral AI甚至直接通过torrent链接将其甩在推特上发布。
huggingface下载链接:
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
Mixtral 8x7B MoE模型当前:
-
在 Apache 2.0 许可下免费使用;
-
推理速度提高6 倍,性能优于 Llama 2 70B模型。
-
性能匹配或优于 GPT3.5;
-
上下文长度为32K;
-
精通英语、法语、意大利语、德语和西班牙语;
下面是Mixtral 8x7B模型和Llama系列模型的对比;
Mixtral 8x7B模型太火了,AI圈知名人士如OpensAI科学家Andrej Karpathy和英伟达AI科学家Jim Fan等研究人员都在转发讨论。
Mixtral 8x7B MoE模型的前身是Mistral 7B,是由Mistral AI发布的一个拥有70亿参数的大语言模型,并且表现很好,很快被开源社区采用。
Mistral AI带来的格局变化
Mistral AI 目前已是欧洲最强的大模型公司,团队由来自 Google、Meta 和 Hugging Face的新生代科学家们组成,目前只有20人左右。
Mistral AI 最近完成了由 A16z 领投的 4.15 亿美元 A 轮融资,估值为 20 亿美元。
Mistral AI的崛起带来了两点格局变化。
一是欧洲和美、中竞争格局。
最新这十年,在投资和创新方面,欧洲的AI企业一直落后于美国和中国的同行。
然而这次Mistral AI的成功,可能标志着一个决定性的转变——欧洲在AI创新方面走到了最前沿。
二是开源和私有模型竞争格局。
在生成式AI的竞争舞台上,OpenAI、Google DeepMind等老牌巨头 已经走向了闭源,而Mistral AI的打法是开源,这一点和Meta很相似。
虽然目前业界最强的大模型是GPT-4或者Gemini,但正如Yann LeCun所说, 开源AI模型正在超越私有模型。
未来,开源模型会不会彻底赶上甚至超越私有模型,让我们拭目以待吧。