Optimum Quanto 开源项目教程

最新推荐文章于 2024-10-28 06:00:00 发布

殷蕙予

最新推荐文章于 2024-10-28 06:00:00 发布

阅读量394

点赞数 5

本文链接：https://blog.csdn.net/gitblog_00292/article/details/142247137

版权

Optimum Quanto 开源项目教程

项目地址:https://gitcode.com/gh_mirrors/op/optimum-quanto

1、项目介绍

Optimum Quanto 是一个为 Hugging Face Optimum 设计的 PyTorch 量化后端库。它旨在提供一个灵活且强大的平台，使用户能够轻松地将浮点模型转换为动态或静态量化的模型。Optimum Quanto 支持在非追踪模式下运行，允许模型放置在任何设备（包括 CUDA 和 MPS）上，并且可以处理各种不同的权重和激活数据类型。

项目特点包括：

全 Eager 模式支持，即使在非追踪模型中也能正常运作。
跨设备兼容性，支持 CPU、GPU 甚至 Apple 的 MPS 设备。
自动化插入，自动插入量化和反量化操作以及量化解算器模块。
多种权重和激活数据类型，包括 int2、int4、int8 和 float8。
加速矩阵乘法，在 CUDA 设备上实现 int8-int8 和 fp16-int4 操作。
易于从浮点模型过渡到量化模型，提供动态到静态量化模型的平滑路径。
序列化兼容性，与 PyTorch 的 weight_only 和 Hugging Face 的 safetensors 格式一致。

2、项目快速启动

安装

只需一行命令即可安装 Optimum Quanto：

pip install optimum-quanto

量化工作流程

以下是一个简单的量化工作流程示例，包括量化、校准（如果需要）、调优和冻结权重等步骤。

from optimum.quanto import quantize, Calibration, freeze
import torch

# 1. 量化
quantize(model, weights=torch.qint8, activations=torch.qint8)

# 2. 校准（可选）
with Calibration(momentum=0.9):
    model(samples)

# 3. 调优（可选）
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
    data, target = data.to(device), target.to(device)
    optimizer.zero_grad()
    output = model(data).dequantize()
    loss = torch.nn.functional.nll_loss(output, target)
    loss.backward()
    optimizer.step()

# 4. 冻结权重
freeze(model)

# 5. 序列化量化模型
from safetensors.torch import save_file
save_file(model.state_dict(), 'model.safetensors')