神经网络模型的压缩，优化及部署；Model compression & optimization, deployment

最新推荐文章于 2024-06-04 20:57:58 发布
最新推荐文章于 2024-06-04 20:57:58 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： 01.深度学习 00.Tensorflow2 00.PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apache/article/details/114381791
版权

Model deployment,compression & optimization

No matter how great your ML models are,if they take just milliseconds too long,

users will click on something else.

-模型研究、训练和 模型推理是一对矛盾

Model Research& Train:  Better, bigger, slower，hardware more powerful

Model inference:  faster，smaller，IOT/mobile/constrained computing

=Make models faster

-Inference optimization

NVIDIA TensorRT

TensorRT is a SDK/C++ library that facilitates high-performance inference on GPUs.

-

TensorRT Started： https://developer.nvidia.com/tensorrt-getting-started

TensorRT download https://developer.nvidia.com/nvidia-tensorrt-download

Documents : https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html

https://github.com/NVIDIA/TensorRT

Ubuntu1804+CUDA10.0安装TensorRT7

https://blog.csdn.net/u011681952/article/details/105973996

 

-Make models smaller

-Model Compression

-1.Quantization 2. Distillation 3.Pruning 4.Low-ranked factorization

-Make models smaller: case study

How We Scaled Bert To Serve 1+ Billion Daily Requests on CPUs

https://robloxtechblog.com/how-we-scaled-bert-to-serve-1-billion-daily-requests-on-cpus-d99be090db26

https://blog.roblox.com/2020/05/scaled-bert-serve-1-billion-daily-requests-cpus/

-

-Deploy a model on cloud

-

-Export a model

-Turn models into binary formats

-部署方式：

hosted Model,App,Endpoint

-Containerized deployment

-Creating a Docker image with Dockerfile
-Container registry
-Container: microservices
  Kubernetes: container orchestration
-

-

=Test
Canary testing
A/B testing
Interleaved experiments
Shadow testing

==================================================

faster:Inference optimization

NVIDIA TensorRT 

https://developer.nvidia.com/tensorrt

start： https://developer.nvidia.com/tensorrt-getting-started

guide： https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

 

github https://github.com/NVIDIA/TensorRT

TensorRT is a C++ library that facilitates high-performance inference on NVIDIA graphics processing units (GPUs). It is designed to work in a complementary fashion

with training frameworks such as TensorFlow, Caffe, PyTorch, MXNet, etc.It focuses specifically on running an already-trained network quickly and efficiently on a GPU

for the purpose of generating a result (a process that is referred to in various places as scoring, detecting, regression, or inference).

=================================================

smaller:Model Compression

-韩松Han Song博士2015年在斯坦福/英伟达发表的Deep Compression是模型压缩方面很重要的论文。

在Deep Compression中，作者提出三种方法来进行模型压缩：剪枝，量化和霍夫曼编码。

==1.Quantization

 

神经网络模型量化论文小结

https://blog.csdn.net/u012101561/article/details/80868352

Tensorflow模型量化(Quantization)原理及其实现方法

https://zhuanlan.zhihu.com/p/79744430

==2. Distillation

以DistilBert为例：

Distillation效果: 模型尺寸减少40%，语言理解能力保留97%,速度提升60%.

-

Softmax modify:

-

-模型训练方式：

-

-三重损失函数Loss：

蒸馏Loss，语言模型Loss，余弦距离Loss

-

-

-

--

 

BERT蒸馏,DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）

https://blog.csdn.net/qq_38556984/article/details/109256544

TinyBERT蒸馏：小模型在只有原始BERT模型13%参数量的情况下，推断加速达到9倍，

同时在自然语言处理标准评测GLUE上获得原始BERT模型96%的效果。

TinyBERT: 面向预训练语言模型的知识蒸馏方法

https://bbs.huaweicloud.com/blogs/195703

https://blog.csdn.net/fengzhou_/article/details/111433457

DistilBert解读

https://blog.csdn.net/fengzhou_/article/details/107211090

Bert瘦身之DistilBert

https://zhuanlan.zhihu.com/p/126303499

知识蒸馏（Knowledge Distillation）,Law-Yao

https://blog.csdn.net/nature553863/article/details/80568658

=================================================

GPT优化

-

 

==3.Pruning

剪枝对应这篇论文：Learning both Weights and Connections for Efficient Neural Networks。

具体讲,剪枝将模型中不重要的权重设置为0，将原来的dense model转变为sparse model，达到压缩的目的。

论文使用三步方法修剪冗余连接：

首先，训练网络以了解哪些连接很重要。接下来，修剪不重要的连接。最后，重新训练网络以微调其余连接的权重。

在ImageNet数据集上，我们的方法将AlexNet的参数数量减少了9倍，从6100万到到670万，而不会造成准确性损失。

-解决什么问题

如何在不损失精度的前提下，对DNN进行剪枝（或者说稀疏化），从而压缩模型。

-why剪枝work

为什么能够通过剪枝的方法来压缩模型呢？难道剪掉的那些连接真的不重要到可以去掉吗？论文中，作者指出，DNN模型广泛存在着参数过多的问题，具有很大的冗余。

-怎么做剪枝

作者的方法分为三个步骤：

  • Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度；
  • Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0（即所谓剪枝）；
  • Re-Train: 重新训练，以期其他未被剪枝的权重能够补偿pruning带来的精度下降；

为了达到一个满意的压缩比例和精度要求，2和3要重复多次。

 

-

-算法流程摘自Han Song博士论文

-对神经元进行剪枝

将神经元之间的connection剪枝后（或者说将权重稀疏化了），那些0

输入0输出的神经元也应该被剪枝了。然后，我们又可以继续以这个神经元出发，剪掉与它相关的connection。

这个步骤可以在训练的时候自动发生。

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding，

https://arxiv.org/abs/1510.00149

Learning both Weights and Connections for Efficient Neural Networks

https://www.groundai.com/project/learning-both-weights-and-connections-for-efficient-neural-networks/

https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/

==4.Low-ranked factorization

-以MobileNets为例：

-MobileNets是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络;重点在于压缩模型，同时保证精度。

深度可分卷积（depthwise separable convolution）是卷积神经网络中对标准的卷积计算进行改进所得到的算法，

其通过拆分空间维度和通道（深度）维度的相关性，减少了卷积计算所需要的参数个数，并在一些研究中被证实提升了卷积核参数的使用效率 。

深度可分卷积分为两部分，首先使用给定的卷积核尺寸对每个通道分别卷积并将结果组合，该部分被称为depthwise convolution，

随后深度可分卷积使用单位卷积核进行标准卷积并输出特征图，该部分被称为pointwise convolution。

-

- depthwise separable convolution ：depthwise convolution + pointwise convolution

MobileNets是基于一个流线型的架构，它使用深度可分卷积算法来构建轻量级的深层神经网络。

深度可分离卷积depthwise separable convolution，它是一种可以分解的卷积：可以将标准卷积分解为深度卷积depthwise convolution和逐点卷积pointwise convolution。

简单理解就是矩阵的因式分解。深度卷积将每个卷积核应用到每一个通道，而1 × 1卷积用来组合通道卷积的输出，这种分解可以有效减少计算量，降低模型大小。
-

-       图a中的卷积核就是最常见的3D卷积，分解为deep-wise方式：一个逐个通道处理的2D卷积（图b）和一个3D的1*1卷积（图c）

-可以这样理解：

-

-

 

MobileNets: Efficient Convolutional Neural Networks for MobileVision Applications

https://arxiv.org/abs/1704.04861

https://blog.csdn.net/u010349092/article/details/81607819

网络解析（二）：MobileNets详解

https://cuijiahua.com/blog/2018/02/dl_6.html

轻量化网络：MobileNets

https://blog.csdn.net/u011995719/article/details/78850275

 

【完】

====================================================================

====================================================================

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding,
https://arxiv.org/abs/1510.00149

韩松博士毕业论文Efficient methods and hardware for deep learning论文详解

https://blog.csdn.net/weixin_36474809/article/details/85613013

All The Ways You Can Compress BERT
http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
A Survey of Methods for Model Compression in NLP

https://www.pragmatic.ml/a-survey-of-methods-for-model-compression-in-nlp/
 

 

 

 

apche CN
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从计算机视觉（Computer Vision）的角度出发，从传统机器学习的特征工程、分类器设计和优化，到深度学习的CNN架构设计、训练优化、模型压缩与推理部署，详细阐述了图像识别领域最新的技术发展方向
禅与计算机程序设计艺术
07-30 1937
在现代信息技术的快速发展过程中，图像识别技术越来越重要。早期的人工智能算法主要侧重于特征提取、分类或回归任务。近几年，随着神经网络（Neural Networks）在图像识别领域的不断突破，很多研究人员将目光投向了深度学习（Deep Learning）的应用。深度学习技术通过堆叠多层神经网络模型来自动学习到图像数据的高级特征表示，并据此对图像进行分类、检测或者定位。虽然深度学习技术取得了令人瞩目的成果，但它的性能仍然受限于传统算法所设计到的参数量与计算能力的限制。
卷积神经网络（CNN）简介：Convolutional Neural Networks (CNNs) Intro
禅与计算机程序设计艺术
08-07 782
作者：禅与计算机程序设计艺术Convolutional Neural Networks (CNNs) have become one of the most popular deep learning models for image classification tasks. In recent years, they have revolutionized computer vision and are widely used in applications such as object recogni
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 5万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
训练好的深度学习模型原来这样部署的！（干货满满，收藏慢慢看）
最新发布
2401_85280228的博客
06-04 2512
当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型！这也是今天“计算机视觉研究院”要和大家分享的内容，部署模型需要考虑哪些问题，考虑哪些步骤及现在常用的部署方法！1当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型！使用GPU Coder生成整个端到端应用程序的代码。
模型压缩算法国内外研究现状综述
Joejwu的博客
07-03 1791
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]
剪枝乱炖 | 模型加速与压缩
zenRRan的博客
03-04 701
每天给你送来NLP技术干货！作者：Colorjamhttps://zhuanlan.zhihu.com/p/97198052剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化...
15 OPENVINO intermediate course7 了解模型优化器的输入参数
THE ORDER
03-25 424
1 说明 本实验所有代码均在ubuntu 18.04 + OpenVINO 2020R3.LTS installed 环境下验证通过，若需要代码移植，请务必检查环境配置是否与本实验环境相同。 2 实验目的 1、了解模型优化器的输入参数。 2、掌握使用模型优化器生成IR文件并验证分类推理结果的方法。 3 任务内容 1、学习模型优化器的输入参数。 2、使用模型优化器将mobilenet ONNX模型转换为IR文件。 验证转换的IR文件分类推理结果。 4 实验原理 一、模型优化器简介 DLDT（Deep Lear
Keras（Tensorflow） 模型压缩
住在海边住在云上
10-22 1164
原文：How to compress your Keras model x5 smaller with TensorFlow model optimization This tutorial will demonstrate how you can reduce the size of your Keras model by 5 times with TensorFlow model optim...
Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices
既然选择了远方 便只顾风雨兼程 - 永强
11-21 484
nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices nn-Meter：精准预测深度学习模型在边缘设备上的推理延迟
tensorflow model optimization 自动剪枝量化说明
liangjiubujiu的博客
05-15 5988
请参见网址： https://github.com/tensorflow/model-optimization/blob/master/tensorflow_model_optimization/g3doc/guide/pruning/pruning_with_keras.ipynb 搬运工 Copyright 2019 The TensorFlow Authors. In[0]:...
模型压缩作为约束优化，并应用于神经网络。第五部分合并压缩_Model compression as constrained op
02-04
总之，"模型压缩作为约束优化，并应用于神经网络"的研究探讨了如何综合运用量化、低秩近似和剪枝等压缩技术，以达到最佳的模型压缩效果。通过实验，作者证明了不同压缩方式之间存在互补性，并且最佳组合取决于具体...
BP_imagecompression_BP_图像压缩_BP神经网络_
09-30
**BP神经网络图像压缩原理** BP（Back Propagation）神经网络是一种广泛应用的多层前馈网络，由输入层、隐藏层和输出层组成。在图像压缩领域，BP神经网络可以被用于学习和提取图像特征，进而减少数据量，实现图像的...
Data-Efficient-Model-Compression:数据高效的模型压缩
07-24
因此，数据高效的神经网络压缩成为一个跳跃点。 DAFL ICCV 2019 论文 DAFL 是一种不使用训练数据的压缩方法。 更多细节可以在找到。 PU压缩 NeurIPS 2019 论文 Unlabeled 。 PU Compression 是一种训练数据很少...
Model-Compression:压缩模型技术
05-01
在深度学习中，复杂的模型如卷积神经网络(CNN)和Transformer等往往拥有庞大的参数量，这导致了存储需求大、计算资源消耗高。模型压缩能够降低模型的内存占用，提高计算速度，使得模型能够在资源有限的设备上运行，...
tensorflow_datasets 如何load本地的数据集
apache的专栏
01-16 4120
用同一个语句，差一行代码。 以mdb_reviews为例,看工作代码。 本地的话，提前下载解压到 C:\\Users\\Grant\\tensorflow_datasets\\imdb_reviews\\plain_text\\1.0.0， 但是传给load函数的目录是前半部分C:\\Users\\Grant\\tensorflow_datasets\\， 后半部分tfds自动拼接，应该是写到tfds代码里的。 import tensorflow_datasets as tfds ...
tensorflow hub 如何load本地的模型,公网访问模型
apache的专栏
01-16 3346
tensorflow hubs 如何load本地的模型 一是防止远程被墙； 二是使用本地下载的模型； print("=========Load Remote hub model:hub.KerasLayer =============") ##防止远程被墙 #tfhub_bert="https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-2_H-128_A-2/1" tfhub_bert="https://storage.googleapi
Pytorch,Tensorflow Autograd/AutoDiff nutshells: Jacobian,Gradient,Hessian,JVP,VJP,etc
apache的专栏
02-21 1762
Autograd 和Jacobians,JVP,VJP,etc 详解Pytorch Autograd（vector-Jacobian product） https://zhuanlan.zhihu.com/p/65609544 矩阵求导术(上)(下) https://zhuanlan.zhihu.com/p/24709748 https://zhuanlan.zhihu.com/p/24863977 矩阵求导、几种重要的矩阵及常用的矩阵求导公式 https://blog.csdn...
聚类卷积核驱动的深度神经网络高效压缩与性能提升
本文主要探讨了一种新颖的深度神经网络压缩方法，名为“聚类卷积核压缩深度神经网络”（Clustered Convolutional Kernel Compression for Deep Neural Networks）。该研究由Sanghyun Son、Seungjun Nah和Kyoung Mu ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值