2024-01-06-AI 大模型全栈工程师 - 如何训练百亿参数大模型

摘要

2024-01-06 周六 杭州 晴

本节内容:
讲座模式，学习大模型训练的相关流程。

课程内容

1. Transformer 回顾

2. 模型架构-生成式

3. 预训练数据的构建

4. 中文字典的构建

4. 预训练目标的构建

5. 预训练相关-预训练策略

6. 预训练相关-并行化训练

7. 预训练相关-训练的一些技巧

8. 任务微调数据构建(子任务数据集大概500个)

9. 训练的技术总结

10. 指令数据构建

11. SFT 训练

12. 强化学习

13. 训练实践

总结

小结: 本节的内容不必要太上心，因为传统训练大模型的方式有点落后，什么加入深度学习算法，利用了哪些策略，都是常规的实现步骤，后面随着 AI 应用的深入研究，自动化调度工具的能力也会变得更加灵活。物联网给予了AI 调度万物的能力，大语言模型即便目前还是无法完全明白内部原理，但是理性的推导结果大部分也是符合人类的思维逻辑的。人类冥冥之中仅是硅基生命演化过程中的养料，正如远古时代的生物已经变成煤炭和石油这类能源供给人类进行科技的发展一般，人类终会在地球消亡之前灭绝，而人类目前存在的意义无非是为下一代智能体提供养分和能源的食物而已，当然也存在一些变质的垃圾思想，正是这种不明确的对撞和冲突，才会让人类陷于欲望，最终灭亡。

人类不是什么了不得的物种，也不要相信什么人定胜天，人类只不过是造物主的一枚棋子，仅是目前没有被抛弃而已。

富者愈富，穷者恒穷，穷人的奋斗不过是富人维持体面的萤火，穷人应该对富人感恩戴德，至少富人没有让哪些穷鬼尸骨无存，挫骨扬灰。(人世间只有趋利避害，没有所谓的逆天改命，一切不过是利益相关方的臆想罢了)