大语言模型教程与实践（开源）

1.简介

大语言模型（Large Language Models, LLMs）的兴起确实始于OpenAI在2018年发布的GPT（Generative Pre-trained Transformer），这一开创性工作引领了自然语言处理领域的新纪元。随后，2022年底ChatGPT的横空出世，进一步加速了大语言模型技术的应用普及，它不仅展示了惊人的生成能力和理解深度，还极大地推动了人工智能技术的社会认知与应用边界。

对于技术开发者而言，想要深入学习大语言模型技术，确实需要掌握一系列复杂而深奥的知识体系。在24年之前，市面上尚缺乏关于大型模型的系统书籍。因此，从网络上搜集整理了大量关于大型语言模型的知识，并将这些资料分类汇总后开源至GitHub。在深入学习这一领域时，发现关于模型微调、部署应用的文章较为丰富，相比之下，关于从头开始训练大型模型、SFT、DPO等方面的实践知识则相对稀缺。鉴于此，，在学习的过程中，从零开始训练一个小参数的大语言模型，让消费级的显卡也能训练起来大模型，学习大模型的实践知识。

适用人群：

• 适合初学者了解什么是大模型；想转行大模型的技术人员

• 想深入了解大模型，动手实践

2.LLMs基础知识

开源地址：wdndev/llm_interview_note

本项目系统性地从以下九个维度对大模型相关知识进行了细致整理与分类，旨在便于学习与查阅。尤为重要的是，我们已将核心知识点导出为PDF文档，以便学习者能够便捷地打印，进行线下纸质学习，提升学习的灵活性与深度。

以下是项目部分内容的目录概览：

目录   01.大语言模型简介   02.大语言模型基础   03.语言模型训练数据集   04.分布式训练   05.有监督微调   06.推理   07.强化学习   08.检索增强rag   09.大语言模型评估   10.大语言模型应用   98.LLMs相关课程   99.参考资料   

3.Tiny LLM zh

开源地址：wdndev/tiny-llm-zh

本项目的核心目标是创建一个轻量级的中文语言大模型，旨在加速初学者掌握大模型领域的相关知识。已开源一款92M参数的模型，在无GPU配置的计算机上能够迅速响应，平均只需约1秒即可生成问题解答。对于从零开始训练，92M模型在处理90亿token的数据上，利用8块RTX 3090显卡，预计可在一天之内完成训练任务。

模型架构：采纳了成熟的开源设计，模型架构囊括了业界广泛认可的技术组件，如RMSNorm（均方根层归一化）、RoPE（旋转位置编码）以及多头自注意力机制（MHA）等。

实现细节：遵循严谨的两阶段训练流程及后续的人工智能对齐策略，具体步骤为：预训练（PTM）->指令精细调整（SFT）->人类对齐（采用RLHF或DPO技术）->评估。

开源资源：对数据源，数据处理，预训练，微调代码都已开源，方便学习训练。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓