深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）

好评笔记

已于 2025-01-02 14:29:42 修改

阅读量3k

点赞数 30

分类专栏：深度学习笔记文章标签：深度学习剪枝人工智能量化蒸馏模型压缩大模型优化

于 2024-11-30 14:30:00 首次发布

本文链接：https://blog.csdn.net/haopinglianlian/article/details/144108373

版权

深度学习笔记专栏收录该内容

15 篇文章 ¥39.90 ¥99.00

订阅专栏

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。

在这里插入图片描述

文章目录

1. 知识蒸馏 (Knowledge Distillation)

基本概念

工作流程

关键技术

类型

应用场景

优势与挑战

优势

挑战

总结

2. 权重剪枝 (Model Pruning)

基本原理

二分类

1. 非结构化剪枝（Unstructured Pruning）

2. 结构化剪枝（Structured Pruning）

常用方法

1. 基于权重大小的剪枝（Magnitude-based Pruning）

2. 基于梯度的剪枝（Gradient-based Pruning）

3. L1/L2 正则化剪枝（Regularization-based Pruning）

4. 基于熵的剪枝（Entropy-based Pruning）

5. 迭代剪枝与再训练（Iterative Pruning and Fine-tuning）

工作流程

优势和局限性

优势

局限性

实际应用

总结

3. 权值量化 (Quantization)

基本原理

类型

1. 静态量化（Post-training Quantization, PTQ）

2. 动态量化（Dynamic Quantization）

3. 量化感知训练（Quantization-aware Training, QAT）

常用方法

1. 线性量化

2. 非线性量化

3. 对称量化和非对称量化

4. 小数位量化（Fixed-point Quantization）

优势与挑战

优势

挑战

实际应用

量化技术总结

4. 权重共享 (Weight Sharing)

5. 低秩分解 (Low-Rank Factorization)

6. 神经架构搜索 (Neural Architecture Search, NAS)

其他优化

总结

应用场景

历史文章

机器学习

深度学习

模型压缩和优化技术是为了在保证模型性能（精度、推理速度等）的前提下，减少模型的体积、降低计算复杂度和内存占用，从而提高模型在资源受限环境中的部署效率。这些技术对于在边缘设备、移动设备等计算资源有限的场景中部署深度学习模型尤为重要。以下是几种常见的模型压缩和优化技术的解释：