土豆娃potato
慢一点,做事不能急.......,如果烦就休息,不可带着坏心情上路
展开
-
模型压缩基础知识-模型的参数量FLOPS VS 模型的体积大小
计算机用 表示 一个 float32 就会用到 4 个字节 那模型参数量有61.5 M(Million) 个float32 在计算机存储时候模型的体积就是61.5M x 4个字节 = 246 MB。计算机用 表示 一个 float32 就会用到 4 个字节 那有模型的参数量是 3.41967MB 个float32 就是 模型的大小是14007kB了噻。原创 2023-03-15 14:34:36 · 880 阅读 · 1 评论 -
模型剪枝-理论理解
直接设计结构小参数少的网络,比如moblienet、shuffleNet等。硬件加速:通过使用更适合卷积运算的硬件设备或者针对专门的硬件设备,合理改变:数据存储和流动方法来调高运算的速度。同时,参数的改变意味着网络结构已有一定的变化。在得到小网络后,同时也需要进行训练微调参数,得到更优的模型。在已经训练好的网络上基础上,对参数进行筛选、转换、近似估计 以得到更少的参数或者更小的结构。小网络的参数由大网络的参数获得的。模型的压缩和加速的方法中,大致分为硬件加速和软件加速。用大网络的输出指导小网络的训练。原创 2023-03-09 00:13:57 · 150 阅读 · 0 评论 -
机器学习---学习记录
机器学习-西瓜书原创 2022-10-18 19:36:01 · 443 阅读 · 0 评论 -
论文名称:Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models--突破低比特量化瓶颈
该工作从这类模型的量化瓶颈-结构化异常值出发,探究了异常值的来源以及裁剪影响。【我的理解:本文的核心】针对这两方面【1、异常值的来源;2、裁剪影响】的发现,作者提出了Outlier Suppression framework(异常值抑制框架),其中包括Gamma Migration和Token-Wise Clipping两个组件来抑制异常值从而得到更好的量化精度。该框架能够即插即用,适合多种模型(BERT,RoBERTa,BART等)、多个任务(分类任务、问答任务,摘要生成任务等)。原创 2022-10-12 11:02:23 · 765 阅读 · 1 评论 -
离线量化(后量化)算法研究-----脉络梳理
后量化算法研究原创 2022-07-01 11:21:42 · 548 阅读 · 0 评论 -
VGG小卷积代替大卷积 VS 深度可分离卷积
小卷积代替大卷积--VGG、深度可分离卷积代替普通卷积、他们共同点多是减少了计算量。原创 2022-06-09 17:47:37 · 272 阅读 · 0 评论 -
轻量化---Project
基础知识点1、如何衡量网络的计算量?1.1 FLOPS和FLOPs的区别:1.2 如何计算网络模型中卷积层中乘法和加法的数量?FLOPs和MACs的区别是什么?1、如何衡量网络的计算量?卷积层计算占比非常大,所以一般而言主要考虑卷积的计算。1.1 FLOPS和FLOPs的区别:1.2 如何计算网络模型中卷积层中乘法和加法的数量?图中橙色的O(绿色中的O)是输出Feature Map的通道数。绿色的C是输入特征图的通道数,K是卷积核的尺寸(比如说3x3卷积,那么k=3)。绿色中的O与橙色的O一原创 2022-06-01 22:43:35 · 121 阅读 · 0 评论 -
从小白入手,从已经训练好的模型中取出weight权重参数绘制柱状图
从模型pt文件中取出权重参数,并绘制柱状图第一步:读取pt文件并查看字典中键的情况。第一步:读取pt文件并查看字典中键的情况。原创 2022-05-30 15:44:22 · 461 阅读 · 0 评论 -
AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKS
AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKSABSTRACT补充知识:码本是什么?1 INTRODUCTION2 RELATED WORKLow-precision training.Quantization.Pruning.Dedicated architectures.(专用架构)3 OUR APPROACH3.1 QUANTIZATION OF A FULLY-CONNECTED LAYER(全连接层的量化)原创 2022-05-24 19:48:34 · 131 阅读 · 0 评论 -
Low-Power Computer Vision--第11章节
Low-Power Computer VisionChapter 11 Quantizing Neural Networks 235页Introduction11.2 QUANTIZATION FUNDAMENTALS(量化基础)11.2.1 Hardware Background(硬件背景)Chapter 11 Quantizing Neural Networks 235页 近年原创 2022-05-22 16:32:22 · 206 阅读 · 0 评论 -
2022-ICLR-Fixed-point 8bit only Multiplication for Network Quantization--仅需八位定点数乘法的网络量化方法
2022---ICLR---Fixed-point 8bit only Multiplication for Network Quantization--仅需八位定点数乘法的网络量化方法第一部分:论文翻译Abstract1、Introduction2、RELATED WORK3、ANALYSIS OF FIXED-POINT REPRESENTATION(定点表示分析)3.1、ADVANTAGES OF FIXED-POINT ARITHMETIC(定点算法的优点)3.2 STATISTICAL ANALY原创 2022-05-18 11:34:34 · 100 阅读 · 0 评论 -
DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKSWITH PRUNINGTRAINED QUANTIZATION ANDHUFFMANCODING
DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING: 深度压缩:用剪枝、训练量化和霍夫曼编码压缩深度神经网络ABSTRACT1 INTRODUCTION2 NETWORK PRUNING(网络剪枝----这部分暂时不看!!!)3 TRAINED QUANTIZATION AND WEIGHT SHARING(训练有素的量化和权重重共享)3.1 WEIG原创 2022-05-11 09:05:43 · 272 阅读 · 0 评论 -
2020:ZeroQ: A Novel Zero Shot Quantization Framework----一种新的零镜头量化框架
ZeroQ: A Novel Zero Shot Quantization Framework 未完待续!!Abstract1. Introduction2. Related work3. MethodologyAbstract 量化化是减少神经网络推理时间和内存占用的一种很有前途的方法。然而,大多数现有的量化方法都需要访问原始训练数据集进行再训练。对于具有敏感或专有数据的应用程序,这原创 2022-05-06 16:08:05 · 389 阅读 · 0 评论 -
8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION--通过块级量化的8位优化器
2021: 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION---通过块级量化的8位优化器Abstract1 BACKGROUND1.1 STATEFUL OPTIMIZERS1.2 NON-LINEAR QUANTIZATION(非线性量化)1.3 DYNAMIC TREE QUANTIZATION(动态树量化)2 8-BIT OPTIMIZERS(8bit优化器)3 8-BIT VS 32-BIT OPTIMIZER PERFORMANCE FOR COMMON原创 2022-05-06 09:25:49 · 503 阅读 · 0 评论 -
综述:Pruning and Quantization for Deep Neural Network Acceleration: A Survey
这里写目录标题一、总览图1显示了可能导致过参数化的三个设计考虑因素:1)网络结构,2)网络优化,3)硬件加速器设计。二、本文主要研究卷积神经网络的网络优化问题。它的组织如下:2. Convolutional Neural Network2.1. 初步2.2。训练和推理cnn被部署为两个步骤的过程:一、总览图1显示了可能导致过参数化的三个设计考虑因素:1)网络结构,2)网络优化,3)硬件加速器设计。CNN加速方法:从设计到实施,CNN的加速可以分为三大类:结构设计(或生成)、进一步优化和专门硬件。二、原创 2022-03-17 09:27:12 · 1184 阅读 · 0 评论 -
2018:MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络
2018:MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS论文阅读---未完待续!!!Abstract1 INTRODUCTION2 RELATED WORK3 THE DYNAMIC FIXED POINT FORMAT(动态定点格式)3.1 DFP TENSOR PRIMITIVES(dfp张量原语)4 NEURAL NETWORK TRAINING USING DYNAMIC FIXED原创 2022-05-05 21:41:30 · 1019 阅读 · 0 评论 -
Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点:一种有效训练深度神
2017.:Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点:一种有效训练深度神经网络的自适应数值格式Abstract1 Introduction2 Related Work3 Flexpoint3.1 The Flexpoint Data Format3.2 Exponent Management(指数管理)3.3 Exponent Management Algorithm(原创 2022-05-05 20:26:40 · 136 阅读 · 0 评论 -
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT---Q-BERT:基于Hessian的超低精度BERT量化
论文标题:Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks---弯曲点:一种有效训练深度神经网络的自适应数值格式Abstract1 Related WorkModel compression模型压缩Compressed NLP model2 Methodology2.1 Quantization process2.2 Mixed precision quantization2.3 Gr原创 2022-05-05 18:19:16 · 917 阅读 · 0 评论 -
Zero-shot Adversarial Quantization论文翻译+解读
Zero-shot Adversarial QuantizationAbstract新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Abstract 模型量化是一种很有前途原创 2022-05-04 17:48:25 · 1516 阅读 · 0 评论 -
MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATIONAbstract1 INTRODUCTION2 PRELIMINARIES(准备工作)3 QUANTIZED DISTILLATION(量化蒸馏)4 DIFFERENTIABLE QUANTIZATION(可微量化)4.1 GENERAL DESCRIPTION(一般说明)5 COMPRESSION(压缩)6 EXPERIMENTAL RESULTS(实验结果)7 DISCUSSION(讨论)Abstra原创 2022-04-27 16:59:17 · 785 阅读 · 0 评论 -
A Survey of Quantization Methods for Efficient Neural Network Inference---2021年
A Survey of Quantization Methods for Efficient Neural Network Inference--2021年AbstractI. INTRODUCTION二、量化的一般历史(GENERALHISTORY OF QUANTIZATION)A.神经网络中的量化--Quantization in Neural NetsIII. 量化的基本概念----BASICCONCEPTS OFQUANTIZATIONA. Problem Setup and Notations-原创 2022-04-26 12:50:35 · 1815 阅读 · 0 评论 -
Fixed Point Quantization of Deep Convolutional Networks
Fixed Point Quantization of Deep Convolutional NetworksAbstract1. Introduction2. Related work MSF----量化3. Floating point to fixed point conversion3.1. Optimal uniform quantizer3.2. Empirical distributions in a pre-trained DCN3.3. Model conversion4. Bit-wid原创 2022-04-25 20:59:47 · 361 阅读 · 0 评论 -
It’s All In the Teacher ZeroShot Quantization Brought Closer to the Teache
@TOC(Oral) paper)作者:Kanghyun Choi1, Hye Yoon Lee1, Deokki Hong1学校:1College of Computing, Yonsei University,CLOVA影像视觉,CLOVAAI实验室,NAVERAbstract模型量化被认为是一种大大降低深度神经网络资源需求的有前途的方法。为了处理量化误差引起的性能下降,一种常用的方法是利用训练数据对量化网络进行微调。然而,在现实环境中,这种方法往往是不可行的,因为由于安全、隐私或保密性的问题,原创 2022-04-25 11:22:24 · 1376 阅读 · 0 评论