AI大神 Sebastian Raschka 发布新书《从零开始构建大语言模型》

Sebastian 热衷于开源软件，还喜欢写作，撰写了畅销书《Python Machine Learning》（《Python 机器学习》）和《Machine Learning with PyTorch and ScikitLearn》。

最近，Sebastian Raschka 发布了新书《Build a Large Language Model (From Scratch)》，旨在讲解从头开始构建大型语言模型的整个过程，包括如何创建、训练和调整大型语言模型，具体地：

• 规划和编码 LLM 的所有部分；
• 准备适合 LLM 训练的数据集；
• 针对文本分类和使用自己的数据对 LLM 进行微调；
• 利用人工反馈确保 LLM 遵循指令；
• 将预先训练权重加载到 LLM 中。

书的地址：https://livebook.manning.com/book/build-a-large-language-model-from-scratch/

这本书用清晰的文字、图表和示例解释每个阶段，从最初的设计和创建，到采用通用语料库进行预训练，一直到针对特定任务进行微调。

这本书的配套代码也已经在 GitHub 上开源了。

配套的代码：https://github.com/rasbt/LLMs-from-scratch

欢迎各位关注我的个人微信公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。