fms-fsdp 项目使用教程

fms-fsdp 项目使用教程

fms-fsdp 🚀 Efficiently (pre)training foundation models with native PyTorch features, including FSDP for training and SDPA implementation of Flash attention v2. 项目地址: https://gitcode.com/gh_mirrors/fm/fms-fsdp

1. 项目目录结构及介绍

fms-fsdp/
├── docs/
│   └── ...
├── fms_fsdp/
│   └── ...
├── images/
│   └── ...
├── scripts/
│   └── ...
├── speculator/
│   └── ...
├── tests/
│   └── ...
├── .gitignore
├── .isort.cfg
├── LICENSE
├── README.md
├── fms_to_hf.py
├── main_training.py
├── requirements-speculator.txt
├── requirements.txt
├── setup.py
└── test-requirements.txt

目录结构说明

• docs/: 存放项目文档文件。
• fms_fsdp/: 存放项目核心代码文件。
• images/: 存放项目相关的图片文件。
• scripts/: 存放项目的脚本文件，如启动脚本等。
• speculator/: 存放项目中的推测相关代码文件。
• tests/: 存放项目的测试代码文件。
• .gitignore: Git 忽略文件配置。
• .isort.cfg: isort 配置文件。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• fms_to_hf.py: 将模型转换为 Hugging Face 格式的脚本。
• main_training.py: 项目的主要训练脚本。
• requirements-speculator.txt: 推测相关的依赖包配置文件。
• requirements.txt: 项目的主要依赖包配置文件。
• setup.py: 项目的安装脚本。
• test-requirements.txt: 测试相关的依赖包配置文件。

2. 项目启动文件介绍

main_training.py

main_training.py 是项目的主要启动文件，负责模型的训练过程。该文件包含了模型的初始化、数据加载、训练循环等核心逻辑。

使用方法

python main_training.py

主要功能

• 模型初始化: 初始化 FMS 模型。
• 数据加载: 加载训练数据集。
• 训练循环: 执行模型的训练过程，包括前向传播、反向传播和参数更新。

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了项目运行所需的所有依赖包及其版本。通过该文件，用户可以快速安装项目所需的所有依赖。

使用方法

pip install -r requirements.txt

主要内容

• 依赖包列表: 列出了项目所需的所有 Python 包及其版本号。

setup.py

setup.py 是项目的安装脚本，用于配置项目的安装过程。通过该脚本，用户可以将项目打包并安装到本地环境中。

使用方法

python setup.py install

主要功能

• 项目配置: 配置项目的名称、版本、作者等信息。
• 依赖管理: 管理项目的依赖包。
• 打包安装: 将项目打包并安装到本地环境中。

通过以上内容，您可以快速了解并使用 fms-fsdp 项目。

fms-fsdp 🚀 Efficiently (pre)training foundation models with native PyTorch features, including FSDP for training and SDPA implementation of Flash attention v2. 项目地址: https://gitcode.com/gh_mirrors/fm/fms-fsdp