学习大模型的很多同学都不知道如何进行LLM预训练、微调(SFT/RW/RLHF/DPO)、推理和部署优化、RAG/Agent,我这整理一些关于这些的路线图及学习资料,已经帮助大几十个同学进阶LLM了
所有LLM几乎所有内容都会讲解,新出现的知识也会不断更新哈
目前已有的知识如下~
1. 基础知识
磨刀不误砍柴工,LLM基础知识还是需要的。会按照历史梳理LM,详解BERT、GPT系列、长文本编码、kimi等各种预备核心知识点,并带着进行GPT预训练实战等。
2. 数据工程
数据很重要,数据是天花板,算法只是无限接近天花板。LLM的第一步就是数据处理,国外的很多SoTA研究都基于此。最后以最近几个月提出来的Deita方法作为实战结尾。
3. 大模型预训练
在这里会讲解预训练的常用框架,以及大语言模型的“大”,就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。
4. 大模型微调
LLM微调最费机器,所以也是知识点最多的地方,比如详解各种PEFT方法、LoRA、QLoRA(两种量化、Page Optimizer等)、RLHF(强化学习基础、RW、PPO和PPO-max)等,以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。
5. 推理和部署优化
LLM模型搞定,就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。
6. 评测和分析
LLM有输出啦,那么如何评测呢,又该评测哪些呢?这些问题又是哪里导致的呢?这里会一一进行讲解。
7. RAG&Agent应用
目前应用最火的就是Agent、langchain、RAG了,我们会对其进行详解,并最后以langchain-RAG实战收尾。
8. Transformer的结构改进与替代方案
所有LLM课程都讲完了,那么就要带有批判思维回顾下Transformer架构是否有哪些问题?那里需要改进?是否有新的模型替代,
适合群体:
-
在校: NLP方向的学生,自己没有规划 or 导师无法手把手指导自己,在LLM时代略有迷茫,想快速掌握前沿理论与实践,并顺带得到一些学术指导,可以直接提供可做的idea
-
校招: 前几年有些荒废 or 身边环境和资源阻碍了自己学习LLM,想快速掌握LLM理论与实践,并通过面试指导和真实面试复盘,大大提高拿到高薪offer的机会
-
社招: 传统NLP方向想跳槽转高薪LLM岗位,但时间匆忙,想找个快速进阶的通道,外加面试指导与复盘,为跳槽做好充分跳槽
不适合群体:
-
不适合NLP零基础想直接进阶LLM的
-
不适合其他专业想短时间转行LLM的
-
不适合已经是P7及以上大佬要进阶的
学习路线
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓