师姐1个月攻下LLM的所有知识的捷径

正月十五过去啦，有些同学已经上班了，有些同学假期可能刚结束（羡慕）~

新的一年希望大家都有新的变化，对于咱们NLPer来说，估计LLM是咱们今年必定绕不开的地方，多模态的Sora也告诉我们，学不完根本学不完...

所以今年我和几位工业界和学术界的佼佼者一起做了个决定，打造一个属于我们自己的训练营，用我们最大的努力帮助需要的同学。

我们1月末开课的第一期很完美，已经要接近尾声啦~  所以本次是开放3月中旬的第二期报名~

先介绍下我们的小团队，分别是：

• 23年面试近50次国内LLM大厂通过率100%拿到多个大厂人才计划offer的毕业生

• 上海某985本硕、LLM算法工程师、知乎NLP领域万粉博主，近百篇LLM文章使很多同学受益

• 某985一线年轻副教授，每年LLM CCF A/B论文20篇起步

我们的目标是：跟着我们，月余拿下LLM！

内容大纲

我们会分至少10次课讲完以下内容。

1. 基础知识

磨刀不误砍柴工，LLM基础知识还是需要的。会按照历史梳理LM，详解BERT、GPT系列等各种预备核心知识点，并带着进行GPT预训练实战等。

2. 数据工程

数据很重要，数据是天花板，算法只是无限接近天花板。LLM的第一步就是数据处理，国外的很多SoTA研究都基于此。最后以最近几个月提出来的Deita方法作为实战结尾。

3. 大模型预训练

在这里会讲解预训练的常用框架，以及大语言模型的“大”，就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。

4. 大模型微调

LLM微调最费机器，所以也是知识点最多的地方，比如详解各种PEFT方法、LoRA、QLoRA（两种量化、Page Optimizer等）、RLHF（强化学习基础、RW、PPO和PPO-max）等，以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。

5. 推理和部署优化

LLM模型搞定，就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。

6. 评测和分析

LLM有输出啦，那么如何评测呢，又该评测哪些呢？这些问题又是哪里导致的呢？这里会一一进行讲解。

7. RAG&Agent应用

目前应用最火的就是Agent、langchain、RAG了，我们会对其进行详解，并最后以langchain-RAG实战收尾。

8. Transformer的结构改进与替代方案

所有LLM课程都讲完了，那么就要带有批判思维回顾下Transformer架构是否有哪些问题？那里需要改进？是否有新的模型替代，比如最近刚火的MoE和Mamba在这里都会详细讲解。

试听课

我们做了试听课，内容为：

1. LLM找工作/搞科研需要具备的能力

2. LLM的整体概览

注：试听课基本上与实际讲课一致，但是方法日新月异，可能会存在某些方法过时被放弃，而添加新技术的情况。

备注：训练营

内容细节展示

1. LLM理论与实践

每次课一般一半理论讲解、一半实战解析，大约1.5-2h

• 直播：至少10次在线直播，涵盖100多个知识点、全套知识理论讲解、代码精读、课下学习文档、8项有趣实战内容（notebook等形式）。

• 录播：会提供直播课程的所有录播

2h+的解码算法和推理优化课上讲解

课后推理优化学习资料

2. 课后作业

除了已定的实战项目外，还会有额外的发散性思维作业等。

1000+行readme超级详细的某个项目实战

非常详细的代码注解

一个Finance-Agent实战

课后提升

3. 课后积极获取同学反馈

讲的课如何，还是需要从同学的反馈中获取，每次课一结束，都会积极询问同学的吸收情况，若有疑问会第一时间纠正并给出解决方案~

4. 答疑

课上开麦与老师QA、课下文字答疑，若需要可组织会议答疑

2024.2.25的某次答疑

其他服务

面经

我们陆续已经已经收集+自己整理的LLM面试题+答案已经100+页了，目前还在每天更新中~

面试指导

当课程结束后，可以根据自己情况来约面试，我们有面试官和刚获得几乎所有大厂人才计划的同学，你觉得你会收获怎样的经验~

学术指导

我们有近几年刚拿教职的985在校95后老师，每年CCF A/B学术成果占学院的近一半（每年差不多15篇），学术经历、论文经验、idea多的都愁没人做，肯定会对你有巨大帮助哒~

LLM训练营中午报名，晚上直接约学术指导了，没想到老师讲了近2h，学生受益匪浅~

面向群体是哪些？

适合群体：

• 在校：NLP方向的学生，自己没有规划 or 导师无法手把手指导自己，在LLM时代略有迷茫，想快速掌握前沿理论与实践，并顺带得到一些学术指导，可以直接提供可做的idea

• 校招：前几年有些荒废 or 身边环境和资源阻碍了自己学习LLM，想快速掌握LLM理论与实践，并通过面试指导和真实面试复盘，大大提高拿到高薪offer的机会

• 社招：传统NLP方向想跳槽转高薪LLM岗位，但时间匆忙，想找个快速进阶的通道，外加面试指导与复盘，为跳槽做好充分跳槽

不适合群体：

• 不适合NLP零基础想直接进阶LLM的

• 不适合其他专业想短时间转行LLM的

• 不适合已经是P7及以上大佬要进阶的

一定能进大厂吗？

我们不做这个保证的，保证这个的绝对是割韭菜。如果跟着我们制定的路线走，我们能保证你从10分提到80分；如果你本身就已经有基础了，我们有信心帮你从80分提到95分，这几分可是相当具有含金量。

招生名额

我们本次只招收5-10名同学，还剩几个名额，精英式培养，招满为止。

加我咨询~

备注：训练营

【LLM训练营二期】三月中旬开课，每周两节，一个多月时间学完所有课程。

2024以蜕变开始。