ChatGPT引爆了AI行业,全球的科技巨头都先后加入这场AI大战,作为行业大佬的Meta也不例外,宣布推出大型语言模型LLaMA,加入到了这场由微软、谷歌等科技巨头主导的AI“厮杀”中。
LLaMA 模型由 Meta 的FAIR 团队开发,旨在帮助研究人员和工程师探索人工智能应用和相关功能,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。
该公司将提供底层代码供用户使用,因此用户可以自行调整模型,并将其用于与研究相关的用例。LLaMA 模型接受了20种语言训练,包括拉丁语和西里尔字母语言,所需的计算能力远低于之前推出的大模型。
另根据Meta官网发布的论文,LLaMA目前包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中,参数规模最小的LLaMA 7B也经过了超1万亿个tokens的训练。Meta表示,在大多数基准测试中,参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B),也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可与业内领先的Chinchilla-70B和PaLM-540B竞争。
同ChatGPT、New Bing不同,LLaMA并不是一个任何人都可以与之对话的产品,也并未接入任何Meta应用。更为确切地说,该产品将是一个开源的“研究工具”。
公司CEO扎克伯格在社交媒体上表示,LLaMA旨在帮助研究人员推进研究工作,LLM(大型语言模型)在文本生成、问题回答、书面材料总结,以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。