开源项目 `LLMs-from-scratch` 使用教程

开源项目 LLMs-from-scratch 使用教程

项目地址:https://gitcode.com/gh_mirrors/ll/LLMs-from-scratch

1. 项目的目录结构及介绍

LLMs-from-scratch/
├── appendix-A/
│   ├── code-part1.ipynb
│   ├── code-part2.ipynb
│   ├── DDP-script.py
│   └── exercise-solutions.ipynb
├── appendix-D/
│   └── appendix-D.ipynb
├── appendix-E/
│   └── appendix-E.ipynb
├── ch01/
├── ch02/
│   ├── ch02.ipynb
│   ├── dataloader.ipynb
│   └── exercise-solutions.ipynb
├── ch03/
│   ├── ch03.ipynb
│   ├── multihead-attention.ipynb
│   └── exercise-solutions.ipynb
├── ch04/
│   ├── ch04.ipynb
│   ├── gpt.py
│   └── exercise-solutions.ipynb
├── ch05/
│   ├── ch05.ipynb
│   ├── gpt_train.py
│   ├── gpt_generate.py
│   └── exercise-solutions.ipynb
├── ch06/
│   ├── ch06.ipynb
│   ├── gpt_class_finetune.py
│   └── exercise-solutions.ipynb
├── ch07/
│   ├── ch07.ipynb
│   ├── gpt_instruction_finetuning.py
│   ├── ollama_evaluate.py
│   └── exercise-solutions.ipynb
├── setup/
│   └── README.md
├── .gitignore
├── LICENSE.txt
├── README.md
└── requirements.txt

目录结构介绍

• appendix-A/: 包含与PyTorch介绍相关的代码和练习解决方案。
• appendix-D/: 包含关于训练循环的附加功能的代码。
• appendix-E/: 包含使用LoRA进行参数高效微调的代码。
• ch01/ 至 ch07/: 每个章节对应的代码和练习解决方案。
• setup/: 包含项目设置和环境配置的文档。
• .gitignore: Git忽略文件配置。
• LICENSE.txt: 项目许可证文件。
• README.md: 项目的主README文件。
• requirements.txt: 项目依赖的Python包列表。

2. 项目的启动文件介绍

项目的启动文件主要集中在每个章节的Jupyter Notebook文件中。以下是每个章节的主要启动文件：

• ch02/ch02.ipynb: 第二章的启动文件，主要介绍文本数据处理。
• ch03/ch03.ipynb: 第三章的启动文件，主要介绍注意力机制的实现。
• ch04/ch04.ipynb: 第四章的启动文件，主要介绍从零开始实现GPT模型。
• ch05/ch05.ipynb: 第五章的启动文件，主要介绍无标签数据的预训练。
• ch06/ch06.ipynb: 第六章的启动文件，主要介绍文本分类的微调。
• ch07/ch07.ipynb: 第七章的启动文件，主要介绍指令遵循的微调。

3. 项目的配置文件介绍

• requirements.txt: 列出了项目运行所需的Python包及其版本。
• setup/README.md: 提供了项目的环境设置和配置指南，包括Python和相关库的安装说明。

通过以上内容，您可以快速了解并开始使用 LLMs-from-scratch 项目。

LLMs-from-scratch 从零开始逐步指导开发者构建自己的大型语言模型（LLM），旨在提供详细的步骤和原理说明，帮助用户深入理解并实践LLM的开发过程。 项目地址: https://gitcode.com/gh_mirrors/ll/LLMs-from-scratch