hey-yahei-CSDN博客

原创重训练量化·可微量化参数

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_differentiable欢迎引用&转载，但烦请注明出处~在传统的QAT中，训练的只有权重，而量化参数是根据权重的分布所确定的。有研究者就想，为什么不把量化参数也作为训练对象呢？既然量化参数是可训练的，那么它能被求导，也就是可微的，所以我们可以称这类方法为“可微量化参数”。PACT论文：《PACT: Parameterized Clipping Activatio

2020-09-23 13:24:11 723

原创重训练量化（改进QAT）

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_improved_qat欢迎引用&转载，但烦请注明出处~Quantize Aware Training(QAT)通过在训练过程中融入量化和反量化过程，来实现量化模型的精度恢复，但考虑一下量化过程![image.png](https://img-blog.csdnimg.cn/img_convert/a86094a7396694cbba5791bd488c0b63.pn

2020-09-21 19:55:01 2003

原创 Data-free量化

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-data_free欢迎转载&引用，但烦请注明出处~Data-free指的是不需要数据，它可以是完全不依赖数据也不利用生成数据，也可以是利用某些手段来生成数据。在量化上，Data-free既可以用于后训练量化，也可以用于重训练量化。Data-free量化的研究主要是希望在真实数据未知的情况下，对输入进行离线量化操作，通常都是借助BN层的统计信息（均值、方差）来直接确定输入的量化参数，或者

2020-09-18 13:05:47 1220

原创后训练量化

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-post_training欢迎转载&引用，但烦请注明出处~按照是否需要训练划分，量化通常可以分为从头训练（train from scratch）、重训练（retrain）、后训练（post-training）三种，本文主要介绍几种后训练量化的方案，并以线性均匀分布的定点量化为例。**后训练量化指的是，对预训练后的网络选择合适的量化操作和校准操作，以实现量化损失的最小化，该过程不需要训

2020-09-15 15:58:04 2098

原创【强化学习】Actor-Critic

原文链接：https://www.yuque.com/yahei/hey-yahei/rl-actor_critic参考：机器学习深度学习（李宏毅） - Actor-CriticActor with Critic以policy-based的actor为主体，融入value-based的critic；一般Policy Gradient的改进技巧在这里依旧同样适用AC: Actor-Critic回顾Policy Gradient，梯度的计算公式如下，∇Rˉθ≈1N∑n=1N∑t=1Tn(∑t′=t

2020-05-20 20:10:26 455

原创【强化学习】Q Learning

原文链接：https://www.yuque.com/yahei/hey-yahei/rl-q_learning参考：机器学习深度学习（李宏毅） - Q Learning机器学习深度学习（李宏毅） - Q Learning Advanced Tips机器学习深度学习（李宏毅） - Q Learning Continuous Action基本形式Q Learning是一种value-based的RL算法，value-based算法旨在训练一个Critic（记为VπV^\piVπ），它与某个Ac

2020-05-20 20:09:18 615

原创【强化学习】Policy Gradient

原文链接：https://www.yuque.com/yahei/hey-yahei/rl-policy_gradient参考：机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1机器学习深度学习（李宏毅）- Policy Gradient机器学习深度学习（李宏毅）- Proximal Policy Optimization策略梯度策略梯度（Policy Gradient）是一种policy-based的RL算法。基本形式![image.png](ht

2020-05-20 20:08:31 248

原创【强化学习】Introduction

原文链接：https://www.yuque.com/yahei/hey-yahei/rl-introduction参考：强化学习纲要（周博磊）第一课概括与RL基础上、下机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1核心思想![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNTA0MzI4LzE1ODk3Nj

2020-05-20 20:06:20 288

原创知识蒸馏

原文链接：https://www.yuque.com/yahei/hey-yahei/knowledge_distillation知识蒸馏（Knowledge Distillation, KD），按照字面意思，就是将某个经过训练网络的知识，蒸馏到另一个网络上去。换句话说，存在一个已经训练好的，具备知识的成熟教师网络（Teacher），用它来指导学生网络（Student）的学习过程。对学生网络而言...

2020-05-06 10:57:17 4137

原创细数目标检测中的损失函数

原文链接：https://www.yuque.com/yahei/hey-yahei/objects_detection#zoJwH损失函数目标检测中最经典的损失函数就是Faster RCNN所用的“softmax交叉熵分类损失 + SmoothL1回归损失”的形式，后来有很多改进的目标检测网络、方案也陆续提出了一些损失函数上的改进。分类损失参考：《目标检测小tricks–样本不均衡处...

2020-04-23 10:37:24 1628

原创从SENet到ResNeSt

原文链接：https://www.yuque.com/yahei/hey-yahei/typical_cnn#NY1oJSENet论文：《Squeeze-and-Excitation Networks (CVPR2018)》提出了SE模块，是注意力机制的一种应用，学习特征图上通道间的相关性，作为权重ReScale各个通道；SE模块相当于一个轻量级的插件，可以方便地插入到已有的网络中去。SE模块...

2020-04-23 10:33:54 734

原创分类网络速览

原文链接：https://www.yuque.com/yahei/hey-yahei/typical_cnn参考：《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap13《卷积神经网络——深度学习实践手册(2017.05)》CNN的典型组合方式是，以卷积层+激活函数（比如relu）+池化层作为一...

2020-04-01 11:57:53 398

原创正则化技术

原文链接：https://www.yuque.com/yahei/hey-yahei/regularization正则化指的是为模型引入一些约束，一定程度上限制模型的拟合能力，减缓收敛速度，从而缓解过拟合现象的一系列方法。参考：《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11《卷积神经网络——...

2020-03-26 17:42:24 3280

原创优化器

原文链接：https://www.yuque.com/yahei/hey-yahei/optimizer参考：《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11torch.optim常见的加速训练技术：恰当的的权重初始化策略：打破初始值的对称性，初始值也不能太小恰当的激活函数：选用导数数...

2020-03-23 23:16:20 215

原创梯度消失与梯度爆炸

原文链接：https://www.yuque.com/yahei/hey-yahei/gradient_vanish_explode在深度学习任务中，随着层数的增加，因为反向传播的链式求导规则，梯度容易出现指数形式地减小或增长，从而导致梯度消失（非常小，训练缓慢）或梯度爆炸（非常大，训练不稳定）现象的发生。相比CNN，RNN更容易出现梯度消失和梯度爆炸问题，这一点在《梯度消失与梯度爆炸 - 为...

2020-03-23 10:19:54 682

原创损失函数

原文链接：https://www.yuque.com/yahei/hey-yahei/target_function目标函数（target function）、损失函数（loss function）、代价函数（cost function）是一个东西~目标函数是一个用来衡量模型预测结果与实际结果（通常称为Ground Truth）之间差距的一个函数，在深度学习中，训练模型通常就是指以最小化该差距...

2020-03-23 10:09:31 1023

原创移位量化（对数量化）

原文链接：https://www.yuque.com/yahei/hey-yahei/shift_quantization移位量化也可以称为对数量化，将数值从浮点数的形式量化为一个整数或定点数，但它与线性量化不同，两个相邻数之间是在以2为底的对数域上均匀分布的，这使得实际推理当中可以直接通过移位运算来快速实现，同时也拥有随比特数增长而指数增长的大动态范围。移位量化既可以只量化权重（对激活值移位）...

2020-03-08 15:18:12 4554 1

原创二值量化

原文链接：https://www.yuque.com/yahei/hey-yahei/binary_quantization最近号称达到MobileNet水平的二值网络MeliusNet面世，趁这个机会顺便梳理一下二值量化的发展历程吧。参考：《MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? (2...

2020-02-22 00:45:35 3534

转载语义分割速览

语义分割速览原文链接：https://www.yuque.com/yahei/hey-yahei/segmentation简单过一下语义分割的主流框架——FCN、UNet、SegNet、PSPNet、DeepLab分割任务论文集与各方实现：https://github.com/mrgloom/awesome-semantic-segmentationpytorch model zoo：ht...

2020-02-12 20:44:27 1308

原创 leetcode(c++)

放假没事刷几道leetcode，一些常见典型题的答案和解析。平时python用的比较多，但分析复杂度的时候用python编程不方便，所以刷题的时候用了c++C++基础《C++编程思想》笔记vector, list, dequeuestack, queuestringpair, set, mapalgorithm数组&链表https://www.yuque.com/y...

2020-02-04 21:53:49 261

原创漫谈池化层

原文链接：漫谈池化层 | Hey~YaHei!参考：《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap13《Hands-On Machine Learning with Scikit-Learn and TensorFlow》笔记《卷积神经网络——深度学习实践手册(2017.05)》《Deep L...

2019-11-04 13:06:44 1983

原创 MixConv：混合感受野的深度可分离卷积

原文链接：MixConv：混合感受野的深度可分离卷积 | Hey~YaHei!继EfficientNet和CondConv之后，我们再来聊聊Google Brain的另一篇图像特征提取相关的论文《MixConv: Mixed Depthwise Convolutional Kernels(2019BMVC)》，作者采用类似inception的大小核混合卷积结果，再结合深度可分离卷积的特性，做到少...

2019-11-01 10:33:28 2147

原创 EfficientNet：模型设计新范式

原文链接：EfficientNet：模型设计新范式 | Hey~YaHei!唔~2019年的图像特征提取方面似乎有了可喜的发展，大家不再盲目地堆大模型，而是寻找更加高效的特征提取结构，在显著减小参数量和计算量的同时模型的表现还能得到提升。同时我们可以看到深度可分离卷积及其变种几乎已经成为主流——接下来我将分三次分别介绍今年Google Brain的几篇思路清奇的论文，首先是《Efficien...

2019-10-31 12:14:19 571

原创 CondConv：按需定制的卷积权重

原文链接：CondConv：按需定制的卷积权重 | Hey~YaHei!最近正巧在看条件计算的东西，发现今年Google Brain发了一篇思路清奇的论文《CondConv: Conditionally Parameterized Convolutions for Efficient Inference(2019NeurIPS)》，这思路简直让人拍案叫绝，只可惜这种模型需要重新定制卷积算子才能有...

2019-10-31 12:10:36 6194 9

原创 Winograd数学原理

原文链接：《Winograd数学原理 | Hey~YaHei!》早前《Winograd卷积原理 | Hey~YaHei!)》一文已经介绍过Winograd的卷积原理，但有些细节似乎尚不明确——Winograd为何能够奏效？它背后的数学原理是什么？变换矩阵如何得到？本文将借鉴《源于《孙子算经》的Cudnn | 知乎, Silicon Valley》和《wincnn/2464-supp....

2019-09-20 14:42:53 645

原创浅探Winograd量化

原文链接：浅探Winograd量化 | Hey~YaHei!上一篇文章《Winograd卷积原理 | Hey~YaHei!》已经介绍过Winograd卷积的基本原理，但终究是理论上的推导，在实际应用的时候其实有些耐人寻味的地方：数学推导假设的是无限的精度和数值范围，但实际计算机的运算精度与数值范围都是有限的，不过按照论文《Fast algorithms for convolutional neu...

2019-08-23 15:55:47 988

原创 Winograd卷积原理

原文链接：Winograd卷积原理 | Hey~YaHei!Winograd算法最早于1980年由Shmuel Winograd在《Arithmetic complexity of computations(1980)》中提出，主要用来减少FIR滤波器的计算量。该算法类似FFT，将数据映射到另一个空间上，用加减运算代替部分乘法运算，在“加减运算速度远高于乘法运算”的前提下达到明显的加速效果（与...

2019-08-22 18:37:31 3802 3

原创 MobileNet全家桶

原文链接：https://hey-yahei.cn/2019/07/24/MobileNet-Family/MobileNet自2017年发布v1以来就被广泛应用在移动端，随后又分别在2018年和2019年发布了v2和v3。去年《MobileNets v1模型解析 | Hey~YaHei！》一文中已经讨论过v1的主要贡献，趁着前阵子*（已经是两个月前了其实）*刚刚发布v3，不妨把整个Mobile...

2019-07-24 16:25:31 519

原创线性量化

原文链接：https://hey-yahei.cn/2019/07/23/Quantization/简单来说，量化就是将浮点存储（运算）转换为整型存储（运算）的一种模型压缩技术。如果按《当前深度神经网络模型压缩和加速都有哪些方法？-机器之心》一文的分类方式，量化属于参数共享的一种——将原始数据聚为若干类（比如int8量化为28=2562^8=25628=256类），量化后的整型值就相当于类的索引...

2019-07-23 16:32:20 4682

原创 2019中兴捧月·总决赛心得

2019中兴捧月·总决赛心得原文链接：https://hey-yahei.cn/2019/05/25/zte_challenge_final/赛题背景与初赛类似，不过初赛更多关注的是加速，而总决赛更关注的是压缩。原始模型是一个简单的3x112x112输入大小的resnet18，人脸识别项目，主办方提供了两万张无标签的校准数据集，和两千张带标签的本地验证数据集，同时主办方保留两千张私有、不公...

2019-06-20 16:31:03 2038

原创 2019中兴捧月·初赛心得

2019中兴捧月·初赛心得原文链接：https://hey-yahei.cn/2019/05/22/zte_challenge_preliminary/赛题背景自从 Alex Krizhevsky 夺得 ILSVRC 2012 ImageNet 图像分类竞赛的冠军后，深度卷积神经网络在图像分类、物体检测、语义分割、目标跟踪等多个计算机视觉任务中均取得优秀表现，更有甚者在某些领域超越人眼的精度...

2019-06-20 16:27:07 4085

原创模型参数与计算量

模型参数与计算量原文链接：https://hey-yahei.cn/2019/01/07/MXNet-OpSummary/这一两个月比较忙，没什么时间空下来写写博文，加上最近处于摸索阶段，各种思路还没有理清，不敢瞎写。这两天看到Lyken17的pytorch-OpCounter，萌生了一个写一个MXNet的计数器的想法，项目已经开源到github上，并且做个pip的包，嘻嘻……第一次做包，虽...

2019-06-20 16:16:57 12061 1

原创漫谈卷积层

漫谈卷积层原文链接：https://hey-yahei.cn/2019/03/28/Conv-Family/ 去年刚入手深度学习的时候写过一篇《卷积神经网络CNN | Hey~YaHei!》，简单介绍过卷积层——不过经过一年的学习和实践，对卷积又有了新的认识，原本讲道理应该直接更新修改去年的那篇博文的。但是那篇博文涉及面较广，不单单讲卷积，而且之后还写过几篇引用了那篇博文的内...

2019-03-28 20:15:39 3658

hey-yahei