当下主流的LLMs微调方法LoRA,又出新变体了。近期,英伟达联合港科大,公布了名为DoRA的高效微调技术,通过对预训练权重矩阵,进行低秩分解,实现了更细粒度的模型更新,微调效率也大大提升,在一系列下游任务中,训练速度和性能表现,均明显优于LoRA!
为了让大家快速掌握最新算法, 研梦非凡 特请来了该领域科研大牛,定制了直播课《AI前沿论文解析系列—DoRA: Weight-Decomposed Low-Rank Adaptation》,从PEFT(参数高效微调方法)的系统梳理,再到LoRA、DoRA的特点对比、算法讲解等,全面感受大模型微调爽点!
▼ 扫码加助教免费预约直播课!
再免费领👇百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利至文末免费领
▎直播课主题
《AI前沿论文解析系列—DoRA: Weight-Decomposed Low-Rank Adaptation》
▎直播课时间
3月19日 19:20(周二)
▎直播课重点
🌟 常见大模型高效微调技术概述
🌟 DoRA与LoRA算法工作原理对比
🌟 通过代码实现DoRA和LoRA原型
🌟 不同微调方法在参数、成本、精度上的比较
🌟 各种微调技术不同应用场景下的适用性分析
🌟 展望Dora算法未来相关工作、潜在改进方向
▎直播课概览
1️⃣ 论文摘要
2️⃣ 研究背景
■ Efficient Fine-Tuning
■ Parameter-Efficient Fine-Tuning
△ Adapter-based Tuning
△ Low-Rank Adaptation
△ Prefix Tuning
△ Prompt Tuning
■ Memory-Efficient Fine-Tuning
3️⃣ 相关工作
■ Parameter-Efficient Fine-Tuning
■ LoRA and its variants
▼ 扫码加助教,免费预约直播课!
免费领!百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利至文末免费领
4️⃣ 算法研究
■ Overview of DoRA
■ Low-Rank Adaptation (LoRA)
■ Weight Decomposition Analysis
■ Weight-Decomposed Low-Rank Adaptation
■ Gradient Analysis of DoRA
■ 实验结果
5️⃣ 代码实现
■ Settings and Dataset
■ Multilayer Perceptron Model (without LoRA and DoRA)
■ Multilayer Perceptron Model (with LoRA and DoRA)
■ Train model with LoRA
■ Train model with DoRA
6️⃣ 总结和展望
■ Compiling to CUDA
■ IO-Aware Deep Learning
■ Multi-GPU IO-Aware Methods
■ 总结
▎直播课导师
Lattner导师
大模型高效计算资深专家;AI公司创业者及合伙人,精通深度学习、机器学习、高性能计算等;在自然语言处理、计算机视觉、多模态等领域,均有建树。
▼ 扫码加助教,免费预约直播课!
免费领!百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利至文末免费领
▎1v1定制化论文指导
按不同的需求收费,区别于其他1v1论文辅导收全程指导费。针对在完成论文的过程中某些部分遇到难题,而找不到路径的同学,协助其用更少的费用快速地解决问题。
1v1定制化论文指导分三个阶段:
1️⃣ 选题阶段
● 导师根据学员实际情况与需求,引导论文idea或给出论文idea;
● 导师针对已有研究成果进行梳理和分析指导,让学员了解研究领域的发展状况、研究方法和趋势,确定论文idea的研究方法和目标;
● 导师结合己有研究成果的情况和论文idea,对学员后续的研究方法做出初步的规划和判断。
2️⃣ 实验阶段
● 实验设计,明确研究问题、研究目标和研究方法;
● 数据收集、整理与分析,确保数据的质量和完整性;
● 实验代码实现与模型训练;
● 实验微调与结果统计、呈现。
3️⃣ 成稿(让写作professional)阶段
因语言问题,科研协作经验缺乏,大多数的同学会因为用词和表达不够professional而被误解,导致论文改稿和评分低。
● 论文写作方法指导,论文写作框架与格式;
● 参考文献筛选与列举;
● 期刊会议筛选与投稿建议指导;
● 论文文字部分的修改与润色;
● 论文中所必要的表格与图片制作。
▼ 扫码加助教了解定制1v1科研论文指导详情!
免费领!百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利至文末免费领
▎1v1全程论文指导
适合以下需求的同学:
● 非常适合科研小白:有科研需求,想融会贯通地使用算法模型,了解前沿进展和方向;
● 非常适合转专业和研究领域做敲门砖用:从事人工智能领域工作,想系统提升算法理论,高效掌握算法设计及创新思路,快速了解论文撰写技能。
☑️ 课程收获
● 学习经典前沿论文,掌握算法原理和实现,了解不同算法的优劣势;
● 指定领域创新点;
● Coding能力增强;
● 论文写作方法以及投稿建议。
☑️ 科研进度保障
● 主讲导师:顶会审稿人,负责经典论文+前沿论文讲解+idea给予/方向建议+写作方法+投稿建议;
● 私人群:每个同学都有与主讲导师私人讨论的小群(idea探讨以及课程内容答疑);
● 全程线上语音meeting+开麦沟通。
☑️ 指导周期
总指导周期=核心指导期+维护期
● 根据需要发表论文的区位不同,指导总周期在3到18个月不等。
● 核心指导期是正常的上课指导周期,维护期是学员已经写出论文投出去后,可能会收到审稿意见要求修改或者退稿的情况(主讲导师会给同学进一步的修改建议,必要的话会约会议沟通,最多6次meeting)。
● 在核心指导期,一般是每周1次1对1会议指导课,每次在45分钟左右。
▼ 扫码加助教了解全程1v1科研论文指导详情!
免费领!百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利至文末免费领
▎导师团队
研梦拥有一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。
<
滑动查看下一张图片
>
▼ 扫码匹配适合自己研究方向的导师+了解更多导师
免费领!百篇大模型/多模态大语言模型前沿必读论文+50小时 3080 GPU算力
🎁 6重科研福利免费领👇
✨ 人工智能零基础入门课免费领
AI形成和未来 | Python速通 | Pytorch速通
✨ 7小时科研论文写作系列课免费领
科研基础知识 | 投稿经验攻略 | LLaMA论文实操 | 投稿后注意事项 | 论文写作理论篇 | 论文写作实践篇 | 会议如何rebuttal?
✨ 14节前沿论文直播课程免费领
CV方向 | NLP/大模型方向 | 推荐系统方向
✨ GPU算力免费领
50小时 3080 GPU算力
✨ 论文资料免费领
百篇大语言模型/多模态大型语言模型前沿&必读论文 | 顶会顶刊论文
✨ 论文指导3月福利
1v1定制/全程论文指导3月特惠(找助教了解详情)
▼ 扫码免费领取以上6重科研福利!