大模型入门指南 - Quantization：小白也能看懂的“模型量化”全解析

DeepSeek、Qwen等大模型的参数规模常常达到数百亿之巨，若采用全精度（FP32）进行存储与推理，不仅会消耗大量的显存资源，推理速度也较为缓慢。模型量化技术通过将浮点数转换压缩为低精度整数，能够大幅缩减大模型的体积，使其减小至原来的四分之一甚至更低，同时还能极大地加快推理速度。以拥有1750亿参数的模型为例，使用FP32格式存储需要700GB的显存空间，而经过量化处理转换为INT4格式后，所需显存仅为10GB左右 。

一、概念解读

模型量化（Quantization）究竟是什么呢？它属于参数压缩与加速技术的范畴，核心在于把模型内的高精度浮点数（像32位浮点数FP32）转变为低精度整数（例如8位整数INT8、4位整数INT4），以此达成减少存储需求、加快推理进程、降低硬件能耗的目的。

• FP32（浮点数）就好比使用科学计算器进行小数计算，虽然能实现高精准度，但存在计算效率低、耗电量大的问题；
• 而INT8（整数）类似用算盘进行整数运算，运算速度快、能耗低，不过需要借助“单位换算”机制，才能确保计算结果与高精度运算接近。

模型量化的本质是通过数学映射，在精度损失可控的前提下，将模型参数从“高精度”转换为“低精度”，实现性能与效率的平衡。

1. 确定量化范围

找到参数或激活值的最小值（min）和最大值（max）。
例如：权重参数范围：min=-1.2, max=0.8；激活值范围：min=0.1, max=5.6。

2. 计算缩放因子（Scale）与零点（Zero Point）

（1）缩放因子：scale = (max - min) / (2^n - 1)（n为量化位数，如 INT8 时 n=8，2^8-1=255）

（2）零点：zero_point = round(-min / scale)（确保浮点数 0 映射到整数 0，避免负数溢出）例如：若 min=-1.2, max=0.8，INT8 量化：scale = (0.8 - (-1.2)) / 255≈0.00784，zero_point = round(-(-1.2) / 0.00784) ≈ 1533.

3. 量化与反量化公式

（1）量化：q = round(x / scale) + zero_point（将浮点数 x 映射为整数 q）

（2）反量化：x’ = (q - zero_point) * scale（将整数 q 还原为浮点数 x’）

为何要进行Quantization（模型量化）？模型量化能够有效压缩内存占用，提高计算带宽效率，从而化解硬件资源不足与实时性要求之间的矛盾。

• 在存储方面，采用INT8格式可将数据压缩至原来的四分之一，INT4格式更能压缩至八分之一，大幅减小数据规模；
• 在带宽方面，内存访问量降低75%，推理速度提升2到4倍，显著优化数据传输效率 。

二、技术实现

Quantization（模型量化） 如何进行技术实现？模型量化主要通过训练后量化（Post-Training Quantization，PTQ）和量化感知训练（Quantization Aware Training，QAT）两种方式实现。

1、PTQ（训练后量化）：

PTQ 技术的操作时机选在模型训练结束后，借助少量校准数据对权重和激活值的动态范围进行估算，据此确定缩放因子、零点等量化参数。该技术最大的亮点在于无需重新训练模型，实现流程简洁。在实际应用中，PTQ 能大幅削减计算成本，降低内存占用，广泛适配各类场景，是优化模型推理效率的常用手段。

2、QAT（量化感知训练）：

与 PTQ 不同，QAT 将量化考量前置到模型训练阶段。通过插入伪量化节点模拟真实量化操作，使模型在训练过程中就对量化误差有所感知。借助反向传播算法，模型权重得以调整优化，从而确保量化后的推理阶段仍能维持较高精度。因此，在对精度要求严苛的应用场景中，QAT 能够保障量化后的模型性能与未量化时基本持平，成为高精度需求下的优选技术方案。

PyTorch如何实现Quantization（模型量化）？ PyTorch作为主流的深度学习框架，提供了完整的量化工具链，支持训练后量化（PTQ）、量化感知训练（QAT）和动态量化等多种方式。

1. 动态量化（Dynamic PTQ）

import torch
from torch.quantization import quantize_dynamic
# 加载预训练模型
model = torch.load('model.pth')
model.eval()
# 动态量化（量化Linear和LSTM层）
quantized_model = quantize_dynamic(  
  model,    
   {torch.nn.Linear, torch.nn.LSTM},  # 指定量化层类型    
   dtype=torch.qint8
)  

2. 静态量化（Static PTQ）

from torch.quantization import prepare, convert
# 准备校准数据集
def calibrate(model, data_loader): 
   model.eval()    
   with torch.no_grad():   
        for inputs in data_loader:           
         model(inputs)

# 配置量化参数
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
model_prepared = prepare(model)          # 插入Observer节点
calibrate(model_prepared, data_loader)  # 校准激活值范围
quantized_model = convert(model_prepared)  # 转换为量化模型

3. 量化感知训练（QAT）

from torch.quantization import prepare_qat, FakeQuantize
# 定义QAT模型
model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')
model_prepared = prepare_qat(model)     # 插入伪量化节点
# 训练阶段（模拟量化误差）
optimizer = torch.optim.SGD(model_prepared.parameters(), lr=0.01)
for inputs, labels in train_loader:  
  outputs = model_prepared(inputs)   
   loss = criterion(outputs, labels)   
    loss.backward()    
    optimizer.step()
# 转换至最终量化模型
    quantized_model = convert(model_prepared)

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！