ActNN安装与使用指南

ActNN安装与使用指南

actnnActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training项目地址:https://gitcode.com/gh_mirrors/ac/actnn

1. 项目目录结构及介绍

ActNN是一个旨在提高训练内存效率的PyTorch库，通过采用2位激活压缩训练来减少神经网络模型在训练过程中的内存占用。以下是该仓库的基本目录结构及其简要说明：

- actnn/
    ├── actnn/                   # 核心代码模块，包含压缩与优化逻辑。
    │   ├── __init__.py
    │   └── ...                  # 其他Python源代码文件。
    ├── configs/                 # 配置文件夹，存放各种预设的配置用于不同任务（如图像分类、语义分割）。
    │   ├── actnn/
    │   │   └── ...
    ├── mem_speed_benchmark/     # 内存和速度基准测试脚本及相关文件。
    │   ├── train.py             # 示例脚本，展示如何使用ActNN进行模型训练。
    ├── tests/                   # 测试案例。
    ├── gitignore                # Git忽略文件配置。
    ├── LICENSE                  # 许可证文件。
    ├── README.md                # 项目的主要说明文档，包括快速入门和基本使用方法。
    └── ...                      # 可能还包括其他如文档、贡献者列表等。

• actnn 文件夹包含了实现记忆体优化的核心算法和类定义。
• configs 包含了特定实验或任务的配置设置。
• mem_speed_benchmark 提供了一套评估工具，用来测试在使用ActNN前后模型的内存使用和运行速度。
• tests 用于单元测试以确保代码质量。

2. 项目的启动文件介绍

主要的启动文件位于 mem_speed_benchmark/train.py。这是一个示范如何利用ActNN对来自torchvision的模型进行高效训练的示例。使用这个文件前，你需要先配置好ActNN环境并选择你想测试或训练的模型。启动这一脚本是通过命令行执行的，它展示了ActNN库的基础用法，允许用户快速体验其内存节省效果。

3. 项目的配置文件介绍

配置文件主要存储在 configs/actnn/ 目录下。这些.py文件定义了模型的架构细节、训练参数、优化器设置以及ActNN的具体优化级别等。例如，fcn_r50-d8_512x1024_80k_cityscapes_1gpu.py 文件可能是专为Cityscapes数据集上的语义分割任务而设计，其中不仅指定了模型结构（如FCN基于ResNet50），还详细设定了分辨率、迭代次数和GPU使用情况等。调整这些配置可以针对不同的硬件环境和任务需求定制训练流程。

使用配置文件示例:

假设你要修改或查看一个模型的配置，你可以打开对应的.py文件，比如：

# 在config文件中可能包含类似以下的设置
model = dict(
    type='SomeModel',  # 模型类型
    backbone=dict(    # 背景配置
        type='ResNet',
        depth=50,
        ...
    ),
    actnn=dict(       # ActNN特有配置
        level="L3",    # 设置优化级别
    ),
    ...
)

通过上述步骤，开发者可以深入了解ActNN的工作机制，并根据具体需求调整配置，以达到最佳的训练效率与资源利用。

actnnActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training项目地址:https://gitcode.com/gh_mirrors/ac/actnn