大语言模型（LLM）学习资料汇总

大语言模型（LLM）学习资料汇总

0x00 学习路径

本文分为四个章节，各章节的学习目标如下。请注意本文主要是面向工程界撰写，学术部分较少。

入门篇：

• 了解大语言模型的基础知识和常见术语。

• 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。

提高篇：

• 了解机器学习、神经网络、NLP 的基础知识。

• 了解 Transformer 以及典型 Decoder-only 语言模型的基础结构和简单原理。

• 了解大语言模型发展历史，以及业界主流模型（含开源模型）进展。

应用篇：

• 可以在本地环境搭建开源模型的推理环境。

• Prompt 工程。

• 使用已有框架（如Langchain）或自行开发，结合大语言模型结果，开发生产应用。

深入篇：（本文涉及少量资料）

• 掌握 Continue Pre-train、Fine-tuning 已有开源模型的能力。

• 掌握 Lora、QLora 等低资源高效模型训练的能力。

• 掌握大语言模型微调以及预训练数据准备的能力。

• 深入了解大模型背后的技术原理。

• 了解生产环境部署大模型的相关技术点。

0x10 入门篇

在入门之前，请申请 OpenAI API，并具备良好的国际互联网访问条件。

大语言模型综述

• 大语言模型迄今为止最好的学术向中文综述。

• 中文版本：LLM_Survey_Chinese_0418.pdf

• 作为入门资料偏难，看不懂的部分可以等到后面章节再回头重看。

ChatGPT Prompt Engineering for Developers

• 虽然是 Prompt 工程，但是内容比较简单，适合入门者。

• 中英双语字幕：https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese

OpenAI Quickstart

• OpenAI 官方 Quickstart 文档。

• 以及 API Reference

• State of GPT：GPT 联合创始人做的演示，极好的总结了 GPT 的训练和应用。

• 视频：https://www.youtube.com/watch?v=bZQun8Y4L2A

• PPT：https://karpathy.ai/stateofgpt.pdf

0x20 提高篇

清华大模型公开课：从NLP到大模型的综合课程，挑选感兴趣的了解。

• 深度学习：台湾大学李宏毅：台湾大学李宏毅，国语教程里最好的，讲的很清楚，也比较有趣。

• Understanding large language models ：理解大语言模型。

• The Illustrated GPT-2 (Visualizing Transformer Language Models)：图解 GPT2

• 中文翻译：https://zhuanlan.zhihu.com/p/139840113

InstructGPT: Training language models to follow instructions with human feedback：著名的 InstructGPT 论文。

• 另外一篇中文介绍：https://huggingface.co/blog/zh/rlhf

• Huggingface NLP Course：NLP 入门课程

0x30 应用篇

Building Systems with the ChatGPT API

• 中文字幕：https://www.bilibili.com/video/BV1gj411X72B/

Langchain

• 中文字幕：https://www.bilibili.com/video/BV1Ku411x78m/

• Langchain 是大语言模型最火的应用框架。即使不使用，也可以借鉴。

• LangChain for LLM Application Development

GPT best practices：OpenAI 官方出的最佳实践。

openai-cookbook：OpenAI 官方 Cookbook。

Brex’s Prompt Engineering Guide：Prompt 工程简介

0x40 深入篇

• Huggingface Transformer 文档：Transformer 官方文档

• 复杂推理：大语言模型的北极星能力 ：略学术，解释大语言模型能力的来源。

• GPT，GPT-2，GPT-3 论文精读：视频精读。

• Building LLM applications for production：在生产环境中构建 LLM 应用。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓