活动报名丨LLaMA一作：如何构建开源高效的基础语言模型（智源Live 38期）

智源社区

于 2023-04-19 17:30:45 发布

阅读量245

点赞数

文章标签： llama 语言模型人工智能自然语言处理

原文链接：https://mp.weixin.qq.com/s?__biz=MzU5ODg0MTAwMw==&mid=2247535153&idx=1&sn=2f1d9cfe1fc4dc694cc9e91aa1210870&chksm=febc09f5c9cb80e395e452ad1facb03a5dd2ade428ba5b7989ba2991d10d2d86bcee56f79829&scene=126&sessionid=0

版权

MetaAI的HugoTouvron将在「智源LIVE第38期」分享LLaMA，这是一个从7B到65B参数的开源高效语言模型集合。LLaMA在公开数据集上训练，性能媲美甚至超越GPT-3，且可在单块GPU上运行。活动包括模型介绍、主持人采访和观众问答环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4月26日（星期三）下午16:00-17:30，「智源LIVE 第38期」线上活动上，Meta AI研究科学家、LLaMA一作Hugo Touvron将分享“LLaMA：Open and Efficient Foundation Language Models“。本期活动将在线举办，报告全程为英语分享，扫描文末二维码或点击「阅读原文」报名即可参加。

Hugo Touvron

Meta AI 研究科学家

在 Hervé Jégou 和 Matthieu Cord 的指导下，在Facebook AI Research (FAIR) 和索邦大学获得博士学位。本科毕业于巴黎综合理工学院，获得工程学位，并在巴黎高等师范学院获得MVA硕士学位，在法国国立高等技术学院（ENSTA）获得工程学位。

“

LLaMA：Open and Efficient

Foundation Language Models

LLaMA，是Meta AI最新发布的一个从7B到65B参数的基础语言模型集合。在数以万亿计的token上训练模型，并表明有可能完全使用公开的数据集来训练最先进的模型，而不需要求助于专有的和不可获取的数据集。LLaMA-13B在大多数bechmark上超过了GPT-3（175B），而LLaMA-65B与最好的模型Chinchilla70B和PaLM-540B相比具有竞争力。总体来看，这些模型的性能非常优异：具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3（参数量达 1750 亿），而且可以在单块 V100 GPU 上运行；而最大的 650 亿参数的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B。

活动时间：4月26日（周三）16:00-17:30

活动形式：线上直播，扫描二维码或点击「阅读原文」即可参加