这篇文章给大家推荐几个大模型的练手程序，也就是所谓的“基本功”。
先问个问题，除了 transformer、rope、swiglu、rms_norm，大家觉着大模型的基本功都有哪些呢？flash_attention 的原理？megatron 的各种 parallel 策略？量化和推理加速技术？cuda编程？
怎么说呢，这些“有技术含量的大模型的核心技术”确实很重要，但我个人还是觉着大多数人在实际工作中并不需要完全理解它们。因为它们追求的是模型性能的极限优化，对我们做个简单的 SFT、PPO 并无太大助力。往往我们的需求只是使用它们，而不是去优化它们。
所以，我会给出一些我个人认为工作中很常用，但却“没有技术含量”的一些基本功（刷面经的同学可以不用看了哈，我推荐的基本功面试官不会考的）。
trans_XX_to_llama.py
在开源社区，llama 的网络结构已经一统江湖了，那也就是说 modeling_llama.py 理论上可以 load 起来任何一个开源模型。
OK，请自行完成以下脚本，使得我们可以用 modeling_llama.py 加载任何一个其他开源模型。
-
trans_qwen_to_llama.py
-
trans_llama_to_qwen.py
-
……
完成这些工作，你会理解每个开源模型的独特之处，比如，qwen2 的 q、k、v 的线性变换是有 bias 的，baichuan 的 lm_head 之前有一个 normalize() 的操作，甚至每个开源模型你都能观察到一些 attention 的魔改。再然后，对着他们的论文去找，为什么他们的作者要做这些改动？能不能从这个过程中学到知识就看各自悟性了。
进阶篇：
-
trans_llama_to_megatron.py (给定参数 tp 和 pp）
-
trans_megatron_to_llama.py
并不是所有同学都用 megatron 训代码，但用 megatron 训代码的同学，这两个脚本是基本功中的基本功了。这里只提醒一下，megatron_checkpoint 的 pp_size 实现 merge 和 split 非常简单，但在对 tp_size 进行 merge 和 split 的时候，一定要留意 megatron 的 gqa 的实现方式。
modeling_XX.py
即然我们已经可以万物转 llama 了，那为什么我还一定要使用 modeling_llama.py 呢？毕竟：
-
modeling_llama.py 在加载模型的时候没有 skip_build ；
-
modeling_llama.py 缺少 stream_generate；
-
modeling_llama.py 文件不支持 sequence_parallel ；
-
modeling_llama.py 默认使用 flash_attention；
-
modeling_llama.py 并没有一个可以作为 reward_model 的 lm_head；
-
……
因此，实现一个属于自己的 modeling_XX.py 吧，集百家之长，先去收集 modeling_llama.py、 modeling_qwen.py、 modeling_baichuan.py、 modeling_yi.py、 modeling_deepseek.py、modeling_glm.py 等所有的开源文件，再把各家公司实现的比较好用的 def 加入到自己的 modeling_XX.py 中。
这样，当市面上出现任何一个新的开源模型，我们就都可以通过“trans_newModel_to_myModel.py”，快速的对该模型进行微调操作，而不用修改任何训练代码。
进阶篇：
我们还可以给自己的 modeling 文件加入很多有趣的东西来助力日常的 debug，比如：
-
def show_cos_distance(self, layer)：输出某个 layer 的 input_hidden_states 和 output_hidden_states 的余弦距离；
-
def show_topk_token(self, layer, K=10)：输出用某个 layer 去预测 next token 时的最大 K 个 token；
-
def show_attention(self, layer, tokenA, tokenB)：输出第 layer 层的某两个 token 之间的 attention_value。
multi_infer.py
model.generate() 我们都再熟悉不过了。在不考虑推理加速等技术时，一个客观事实是：“8 卡 load 1 个模型、开大 batch_size ”的推理速度，远远小于 “8 卡 load 8 个模型、开小 batch_size ”的推理速度。
那么有需求了，**实现一个 class infer (model_path, data_path, output_path, num_workers)**，根据自己的喜欢，可以用 torch_run，也可以用 multiprocessing，亦或是其他 python 库。达成下面这个目的即可：在推理的时候让 1 机 8 卡 load 8 / 4 / 2 / 1 个模型，来快速的推理完一大批数据。
tips：一些写法可能需要给 modeling_XX.py 加入一个 def set_device(self, device_list) 函数，毕竟如果每次都用 os.environ[“CUDA_VISIBLE_DEVICES”]=“3,4” 来控制使用哪些卡来 load 模型，有点不太优雅。
进阶篇：
-
单机的并行推理已经实现了，不妨试试多机的；
-
学会用 vllm 等更快的推理框架，而不是 model.generate()。
Channel Loss
在介绍领域模型 post-pretrain 的时候，我说过一句话：做 domain post-pretrain 不看 channel loss，你不如别开 tensorboard。
基本大部分情况下，post-pretrain 的 loss 曲线都呈“缓慢下降”或“持平”的变化趋势，sft 的 loss 曲线都呈“快速下降”且“阶梯状”的变化趋势，这个时候除了初始 loss 和最终 loss是否符合预期外，我们能从中得到的信息微乎其微。因此，把数据划分成不同的数据源，对每个数据源的 loss 曲线单独观察，就显得尤为有意义，这也是研究跷跷板问题的必要环节。
题目来了：改进训练代码，给自己的 sft 数据随机赋予一个 channel，然后在训练过程中绘制出每个 channel 的 loss 曲线。
tips：考虑通过 all_gather_object 实现。
进阶篇：
-
megatron 由于有 tp 和 pp 存在，实现起来难度远大于 deepspeed；
-
model.trainer() 的训练方式封装的很死，如何加入 channel_loss 呢？
先列出这些吧，这些基本功可能对求职没有任何帮助，但拿来优化开发效率应该蛮好用的！此外，以上提到的所有程序 ChatGPT 都会写（不包括进阶篇，进阶篇有些我也没调通过），不会的话就问问 Chat 老师。
那么，如何系统的去学习大模型LLM？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
篇幅有限，部分资料如下：
👉LLM大模型学习指南+路线汇总👈
💥大模型入门要点，扫盲必看！
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。
路线图很大就不一一展示了 （文末领取）
👉大模型入门实战训练👈
💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉国内企业大模型落地应用案例👈
💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
👉GitHub海量高星开源项目👈
💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！
👉LLM大模型学习视频👈
💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）
👉640份大模型行业报告（持续更新）👈
💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
👉获取方式：
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
