Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3,包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。
Meta官方数据显示,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct,而70B模型则超越了闭源的当红模型Claude 3 Sonnet,并且效果上完全能与Google的Gemini Pro 1.5掰掰手腕。
那Llama 3在结构上跟之前的版本有哪些区别?它的预训练和Post训练是如何进行的?如何对Llama 3进行微调?基于Llama 3是否能构建出更优质的多模态大模型?鉴于这些问题,我们特意组织了一次对Llama 3的免费公开课,前面剖析它的技术层面以及应用。
1. 不仅剖析原理,更有实操案例分享
本次公开课主题是《Llama 3技术剖析、微调以及多模态训练》,将剖析Llama 3的核心技术,讲解如何基于Llama 3进行模型的微调和多模态模型训练和微调。本次公开课不仅会讲解技术理论,也包括了结合Llama 3的模型微调和多模态大模型微调两个项目Case,从应用角度让大家对Llama 3的效果有直观的理解。
2. 公开课大纲
Llama 3结构剖析、与Llama2区别
Pretrain技术解释:GQA, RoPE等
Postrain技术解释:SFT, PPO, DPO等
Case:基于Llama 3-8B模型微调和部署
多模态大模型结构如Mini-Gemini、LLaVA
Case: 结合LLama 3的多模态大模型微调
3. 分享嘉宾
李老师
人工智能、大模型领域专家
多家上市公司技术战略顾问
曾任金融科技独角兽公司首席科学家
曾任量化投资初创公司首席科学家
曾任美国亚马逊推荐系统工程师
深耕AI领域十余年,授课培养AI学员数万人
4. 时间安排
北京时间:2024年4月29日,20:00-22:00
5. 适合人群
想学习大模型及微调的开发工程师
想深入理解相关技术的算法工程师
🔥 即将开始
立即扫码添加老师,免费参加~