4月19日Facebook母公司Meta重磅推出了其迄今最强大的开源人工智能(AI)模型——Llama 3。模型分为两种规模:8B 和 70B 参数,每种规模都提供预训练基础版和指令调优版。最强开源大语言模型Meta LIama3可以在线体验啦!
GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台
作为最强开源大模型,LIama3性能卓越,颇有亮点!比如与LIama2相比采用新的 Tokenizer,将词汇表大小扩展至 128,256,支持更高效地编码文本;基于超过15T token训练,相当于Llama 2数据集7倍还多;配备Llama Guard 2等新一代的安全工具等,而且目前在多个行业标准测试中Llama 3表现相当出色。此外,8B 版本的模型现在采用了分组查询注意力(GQA),这是一种效率更高的表达方式,有助于处理更长的上下文。