- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Pytorch实现卷积神经网络训练量化（QAT）
1. 前言深度学习在移动端的应用越来越广泛，而移动端相对于GPU服务来讲算力较低并且存储空间也相对较小。基于这一点我们需要为移动端定制一些深度学习网络来满足我们的日常续需求，例如SqueezeNet，MobileNet，ShuffleNet等轻量级网络就是专为移动端设计的。但除了在网络方面进行改进，模型剪枝和量化应该算是最常用的优化方法了。剪枝就是将训练好的大模型的不重要的通道删除掉，在几乎不影响准确率的条件下对网络进行加速。而量化就是将浮点数（高精度）表示的权重和偏置用低精度整数（常用的有INT8）来近
2020-07-28 23:37:59
9667
8
原创 低比特量化之DoreFa-Net理论与实践
1. 前言之前已经算是仔细的讲解过DoreFaNet的原理了，见：深度学习算法优化系列十二 | 旷视科技 DoReFa-Net ，所以今天这篇文章的目的是如何将DoreFaNet进行应用，在此之前还是简单回顾原理。2. DoreFaNet和前面我们讲过的BNN和TWN相比，DoreFa-Net并没有针对卷积层输出的每一个...
2020-07-25 21:58:40
2954
1
原创 Group Sample：一个简单有效的目标检测升点Trick
1. 前言今天为大家介绍一个CVPR 2019提出的一个有趣的用于人脸检测的算法，这个算法也可以推广到通用目标检测中，它和OHEM，Focal Loss有异曲同工之妙。论文地址为：http://openaccess.thecvf.com/content_CVPR_2019/papers/Ming_Group_Sampling_for_Scale_Invariant_Face_Detection_CVPR_2019_paper.pdf。2. 出发点这篇文章的出发点是，我们在做人脸检测或者通用目标检测时，
2020-07-23 23:46:15
584
原创 Keras2NCNN？Yes
1. 前言这篇文章是记录笔者最近想尝试将自己开发的分割工程模型利用NCNN部署所做的一些工作，经过一些尝试和努力算是找到了一种相对简单的方法。因此这篇文章将笔者的工作分享出来，希望对使用Keras训练模型但苦于无法部署到移动端，或者使用Keras模型通过ONNX转到其它推理框架时碰到各种OP支持无法解决的读者带来些许帮助。2. 转换路线我的转换路线为：Keras->Caffe->NCNN首先Caffe->NCNN是NCNN默认支持的，所以不需要我做任何工作，所以我的工作主要就是K
2020-07-21 21:10:14
727
原创 低比特量化之XNOR-Net
论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks链接：https://arxiv.org/abs/1603.05279代码：http://allenai.org/plato/xnornet1. 前言前面已经介绍了2篇低比特量化的相关文章，分别为：基于Pytorch构建一个可训练的BNN 以及 基于Pytorch构建三值化网络TWN 。在讲解那2篇文章的时候可能读者会发现某些小的知识点出现.
2020-07-19 23:09:09
626
原创 基于Pytorch构建三值化网络TWN
1. 前言三值化网络是2016年由Fengfu Li在论文《Ternary Weight Networks》中提出来的，它相比二值化网络具有更好的效果。论文地址如下：https://arxiv.org/abs/1605.04711 。2. 出发点首先，论文提出多权值比二值化具有更好的网络泛化能力。论文中提到，在VGG，GoogLeNet 和残留网络等最新的网络体系结构中，最常用的卷积滤波器大小为3×33\times 33×3，如果使用上一节提到的二值权重，有23×3=5122^{3\times 3}=
2020-07-14 23:39:28
1054
原创 基于Pytorch构建一个可训练的BNN
1. 前言一般我们在构建CNN的时候都是以32位浮点数为主，这样在网络规模很大的情况下就会占用非常大的内存资源。然后我们这里来理解一下浮点数的构成，一个float32类型的浮点数由一个符号位，8个指数位以及23个尾数为构成，即：符号位[ ] + 指数位[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] + 尾数[ ]*23我们可以看到，每个float32浮点数里面一共有223=838860872^{23}=83886087223=83886087个二进制对应表示2232^{23}223个数
2020-07-06 23:20:58
2661
原创 YOLOV3剪枝方法汇总
1. 前言上一篇推文如何让你的YOLOV3模型更小更快？ 给大家介绍了一下利用BN层的γ\gammaγ参数对YOLOV3检测模型进行剪枝，最终获得了2倍的速度增加。但需要注意的是，这个剪枝有一些缺点，例如剪枝剪得不够极限，可能还有一些冗余通道存在，另外shortcut这种层也是没有剪枝的。并且剪枝之后模型的通道数会变成一些奇怪的数字例如232323，这在推理过程中会浪费一部分硬件的内存，并对模型的推理速度产生影响。最后，很多人在简单的场景中倾向使用YOLOV3-Tiny这个小模型，当然我们可以通过剪枝使得
2020-07-02 20:53:00
5105
6
原创 如何让你的YOLOV3模型更小更快？
1. 前言之前讲过关于模型剪枝的文章深度学习算法优化系列七 | ICCV 2017的一篇模型剪枝论文，也是2019年众多开源剪枝项目的理论基础 并分析过如何利用这个通道剪枝算法对常见的分类模型如VGG16/ResNet/DenseNet进行剪枝，见深度学习算法优化系列八 | VGG，ResNet，DenseNe模型剪枝代码实战 ，感兴趣的可以去看看。这篇推文主要是介绍一下如何将这个通道剪枝算法应用到YOLOV3上，参考的Github工程地址为：https://github.com/Lam1360/YOLO
2020-07-01 21:09:47
1066
1
cs231-斯坦福大学-李菲菲-2016 课件
2018-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人