just_sort-CSDN博客

原创基于how-to-optimize-gemm初探矩阵乘法优化

1. 前言这次，我们来聊一个轻松一点的话题，那就是给你一个矩阵A和一个矩阵B，使用矩阵乘法获得目标矩阵C，相信大家都不难写出下面的代码：#define A( i, j ) a[ (i)*lda + (j) ]#define B( i, j ) b[ (i)*ldb + (j) ]#define C( i, j ) c[ (i)*ldc + (j) ]// gemm C = A * B + Cvoid MatrixMultiply(int m, int n, int k, float *a, in

2020-11-05 18:26:53 1186

原创如何判断算法是否有可优化空间？

计算Armv7a架构理论gflops以及自己写的某个算法的gflops的方法，另外提供了一个脚本可以显示native版矩阵乘法各个尺寸对应的gflops。1. 前言之前一直在写一些算法怎么优化，包括算法逻辑甚至是更加底层一些的文章，但是测试工作都做得比较随意，也就是粗略的比较时间。最近准备学习一下矩阵乘法的优化，觉得这种比较方式实际上是看不出太多信息的，比如不知道当前版本的算法在某块指定硬件上是否还存在优化空间。因此，这篇文章尝试向大家介绍另外一个算法加速的评判标准，即算法的浮点峰值（gflops）.

2020-10-26 23:21:04 611

原创 Im2Col+GEMM的改进方法MEC，一种更加高效的卷积计算策略

1. 前言前面介绍了Im2Col+GEMM来实现卷积以在某些条件下获得更好的访存和计算效率，详见：详解Im2Col+Pack+Sgemm策略更好的优化卷积运算。然后，最近偶然发现了Im2Col+GEMM的一个改进版本即MEC: Memory-efficient Convolution for Deep Neural Network ,这是发表在ICML 2017年的文章，它主要优化了Im2Col+GEMM计算策略中的内存消耗，并且也能提升一点速度，是一个不错的卷积加速算法。所以我在这里结合论文以及代码实

2020-10-10 22:35:21 1364

原创详解卷积中的Winograd加速算法

1. 为什么会引入WinoGrad？做过ACM/OI的朋友大家应该对FFT并不默认，我们知道对于两个序列的乘法通过FFT可以从原始O(n^2)复杂度变成O(nlogn)，所以我们就会想着FFT这个算法是否可以应用到我们计算卷积中来呢？当然是可以的，但是FFT的计算有个问题哦，会引入复数。而移动端是不好处理复数的，对于小卷积核可能减少的计算量和复数运算带来的降速效果是不好说谁会主导的。所以在这种情况下，针对卷积的WinoGrad算法出现了，它不仅可以类似FFT一样降低计算量，它还不会引入复数，使得卷积的运算

2020-09-28 16:12:24 7620 1

原创 AI移动端优化之Im2Col+Pack+Sgemm

1. 前言最近在给MsnhNet贡献Arm端的代码，地址详见：https://github.com/msnh2012/Msnhnet ，然后对于卷积一种最常见的方法就是Im2Col加上Sgemm，我也尝试去实现一把，我参考了NCNN的部分实现并且花了一周业余时间通过手推的方式终于想清楚了这个算法及其Pack优化版本，所以是时候将我的理解分享给想了解这个算法的读者了。2. Im2Col+Sgemm计算卷积原理相信大家对于卷积的概念都非常熟悉了，这里就不再赘述。我说一下一般卷积的计算方式有哪些吧。首先是暴

2020-09-13 19:35:12 1372 1

原创基于NCNN的3x3可分离卷积再思考盒子滤波

1. 前言前面已经做了一系列实验来优化盒子滤波算法，然后经nihui大佬提醒又获得了2种优化方法，再加上提到过的将原始矩阵进行转置，将盒子滤波的行方向求和进行规避，或者能获得进一步加速。为了验证这些想法，就有了这篇文章。上篇论文我们已经将半径为333的盒子的滤波在A53上优化到了145.92ms145.92ms145.92ms，图像的分辨率是4032×30244032\times 30244032×3024，所以本次系列实验的BaseLine已经明确，接下来就开始新的优化历程吧。2. 将盒子滤波看成卷积

2020-08-12 23:49:39 617 1

原创【Arm端算法优化笔记】一，一步步优化盒子滤波算法

1. 前言这是我自己做的移动端算法优化笔记的第一篇文章。我入门移动端的时间其实很短，也是今年刚开始接触Neon优化并尝试用Neon来做一些算法加速工作，之前我做过系列的X86上的SSE/AVX算法加速文章分享。但那个系列已经比较久没有更新了，一是因为我日常做的都是和移动端相关的一些算法工作，二是因为我最近变懒了，所以希望新开这个专题重新找到一点分享算法优化文章的热情（笑）。关于这篇文章，其实之前梁德澎作者已经分享过了，即【AI移动端算法优化】二，移动端arm cpu优化学习笔记之一步步优化盒子滤波，所

2020-08-06 22:45:54 1917 2

原创 Pytorch实现卷积神经网络训练量化（QAT）

1. 前言深度学习在移动端的应用越来越广泛，而移动端相对于GPU服务来讲算力较低并且存储空间也相对较小。基于这一点我们需要为移动端定制一些深度学习网络来满足我们的日常续需求，例如SqueezeNet，MobileNet，ShuffleNet等轻量级网络就是专为移动端设计的。但除了在网络方面进行改进，模型剪枝和量化应该算是最常用的优化方法了。剪枝就是将训练好的大模型的不重要的通道删除掉，在几乎不影响准确率的条件下对网络进行加速。而量化就是将浮点数（高精度）表示的权重和偏置用低精度整数（常用的有INT8）来近

2020-07-28 23:37:59 9664 8

原创低比特量化之DoreFa-Net理论与实践

1. 前言之前已经算是仔细的讲解过DoreFaNet的原理了，见：深度学习算法优化系列十二 | 旷视科技 DoReFa-Net ，所以今天这篇文章的目的是如何将DoreFaNet进行应用，在此之前还是简单回顾原理。2. DoreFaNet和前面我们讲过的BNN和TWN相比，DoreFa-Net并没有针对卷积层输出的每一个...

2020-07-25 21:58:40 2952 1

原创 Group Sample：一个简单有效的目标检测升点Trick

1. 前言今天为大家介绍一个CVPR 2019提出的一个有趣的用于人脸检测的算法，这个算法也可以推广到通用目标检测中，它和OHEM，Focal Loss有异曲同工之妙。论文地址为：http://openaccess.thecvf.com/content_CVPR_2019/papers/Ming_Group_Sampling_for_Scale_Invariant_Face_Detection_CVPR_2019_paper.pdf。2. 出发点这篇文章的出发点是，我们在做人脸检测或者通用目标检测时，

2020-07-23 23:46:15 584

原创 Keras2NCNN？Yes

1. 前言这篇文章是记录笔者最近想尝试将自己开发的分割工程模型利用NCNN部署所做的一些工作，经过一些尝试和努力算是找到了一种相对简单的方法。因此这篇文章将笔者的工作分享出来，希望对使用Keras训练模型但苦于无法部署到移动端，或者使用Keras模型通过ONNX转到其它推理框架时碰到各种OP支持无法解决的读者带来些许帮助。2. 转换路线我的转换路线为：Keras->Caffe->NCNN首先Caffe->NCNN是NCNN默认支持的，所以不需要我做任何工作，所以我的工作主要就是K

2020-07-21 21:10:14 726

原创低比特量化之XNOR-Net

论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks链接：https://arxiv.org/abs/1603.05279代码：http://allenai.org/plato/xnornet1. 前言前面已经介绍了2篇低比特量化的相关文章，分别为：基于Pytorch构建一个可训练的BNN 以及基于Pytorch构建三值化网络TWN 。在讲解那2篇文章的时候可能读者会发现某些小的知识点出现.

2020-07-19 23:09:09 625

原创基于Pytorch构建三值化网络TWN

1. 前言三值化网络是2016年由Fengfu Li在论文《Ternary Weight Networks》中提出来的，它相比二值化网络具有更好的效果。论文地址如下：https://arxiv.org/abs/1605.04711 。2. 出发点首先，论文提出多权值比二值化具有更好的网络泛化能力。论文中提到，在VGG，GoogLeNet 和残留网络等最新的网络体系结构中，最常用的卷积滤波器大小为3×33\times 33×3，如果使用上一节提到的二值权重，有23×3=5122^{3\times 3}=

2020-07-14 23:39:28 1051

原创基于Pytorch构建一个可训练的BNN

1. 前言一般我们在构建CNN的时候都是以32位浮点数为主，这样在网络规模很大的情况下就会占用非常大的内存资源。然后我们这里来理解一下浮点数的构成，一个float32类型的浮点数由一个符号位，8个指数位以及23个尾数为构成，即：符号位[ ] + 指数位[ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] + 尾数[ ]*23我们可以看到，每个float32浮点数里面一共有223=838860872^{23}=83886087223=83886087个二进制对应表示2232^{23}223个数

2020-07-06 23:20:58 2661

原创 YOLOV3剪枝方法汇总

1. 前言上一篇推文如何让你的YOLOV3模型更小更快？给大家介绍了一下利用BN层的γ\gammaγ参数对YOLOV3检测模型进行剪枝，最终获得了2倍的速度增加。但需要注意的是，这个剪枝有一些缺点，例如剪枝剪得不够极限，可能还有一些冗余通道存在，另外shortcut这种层也是没有剪枝的。并且剪枝之后模型的通道数会变成一些奇怪的数字例如232323，这在推理过程中会浪费一部分硬件的内存，并对模型的推理速度产生影响。最后，很多人在简单的场景中倾向使用YOLOV3-Tiny这个小模型，当然我们可以通过剪枝使得

2020-07-02 20:53:00 5105 6

原创如何让你的YOLOV3模型更小更快？

1. 前言之前讲过关于模型剪枝的文章深度学习算法优化系列七 | ICCV 2017的一篇模型剪枝论文，也是2019年众多开源剪枝项目的理论基础并分析过如何利用这个通道剪枝算法对常见的分类模型如VGG16/ResNet/DenseNet进行剪枝，见深度学习算法优化系列八 | VGG，ResNet，DenseNe模型剪枝代码实战，感兴趣的可以去看看。这篇推文主要是介绍一下如何将这个通道剪枝算法应用到YOLOV3上，参考的Github工程地址为：https://github.com/Lam1360/YOLO

2020-07-01 21:09:47 1066 1

原创【从零开始学Mask RCNN】四，RPN锚框生成和Proposal生成

1. Mask RCNN Anchor 生成Mask RCNN的锚框生成和SSD的锚框生成策略类似（SSD的锚框生成策略见：【资源分享】从零开始学习SSD教程），都遵循以下规则：Anchor的中心点的个数等于特征图像素个数Anchor的生成是围绕中心点的Anchor框的坐标最终需要归一化到0-1之间，即相对输入图像的大小我们知道Faster RCNN只是在一个特征图上铺设Anchor，而Mask RCNN引入了FPN之后使用了多层特征，这样和SSD类似都是在多个特征图上铺设Anchor，不过

2020-06-27 22:55:23 2963 1

原创【从零开始学Mask RCNN】三，Mask RCNN网络架构解析及TensorFlow和Keras的交互

0. 前言上一节把握了一下Mask RCNN项目的整体逻辑，这一节主要从TensorFlow和Keras的交互以及Mask RCNN的网络结构入手来分析一下。1. TensorFlow和Keras的交互说明相信熟悉Keras的同学都经常看到这行代码：import keras.backend as K如果Keras的后端是基于TensorFlow的，那么这个K就是Tensorflow了，那么自然会想一个问题，为什么不直接import tensorflow呢，这样不是多此一举吗？这个问题就涉及到Ten

2020-06-25 17:11:18 1024

原创【从零开始学Mask RCNN】二，Mask RCNN框架整体把握

1. 前言这一节将从代码库里面的demo.ipynb笔记本入手，来整体理解一下Mask RCNN的网络架构。2. 代码理解首先导入需要用到的

2020-06-23 21:52:32 1207

原创利用渐进校准网络(PCN)的实时角度无关人脸检测

0. 前言熟悉人脸相关业务的读者应该对下面这个3D人脸模型比较熟悉：可以看到在3D空间中人脸的位姿主要包含三种：平面内旋转角（左右歪头问题）：roll。平面外左右旋转（正脸，侧脸问题）：yaw。平面外俯仰（仰头，低头问题）：pitch。然后现在的很多人脸检测器比如我们介绍过的MTCNN，FaceBoxes，RetinaFace等等都实现了高精度的实时人脸检测，但这些算法往往都是在直立的人脸上表现很好，在角度极端的情况下表现不好。通过上面的3D模型我们想到，人除了正坐和站立，还有各种各样的姿

2020-06-20 20:01:57 1246

原创【从零开始学Mask RCNN】一，原理回顾&&项目文档翻译

0. 前言从今天开始，我将为大家逐步介绍Mask RCNN这个将检测和分割统一起来的框架的具体原理以及详细代码解读，项目地址为官方代码，基于Keras框架实现，如果你不会Keras也并不要紧，我会尽量将原理和代码的解释做到位。另外说一下我自己的写作安排，在完成Mask RCNN之后，我将继续分享一些深度学习网络的一些加速技巧例如模型剪枝，低比特量化，指令集优化等等，希望大家可以继续支持我。（文末点在看就是最大的支持啦！）1. 算法总览Mask-RCNN是一个实例分割（Instance segmenta

2020-06-17 22:06:19 873

原创目标检测算法之Light-Head R-CNN

1. 前言今天要为大家介绍一个RCNN系列的一篇文章，这也是COCO 2017挑战赛上获得冠军的方案。之前我们讲过了很多RCNN系列的检测论文了，例如Faster RCNN（请看公众号的Faster RCNN电子书）以及R-FCN 目标检测算法之NIPS 2016 R-FCN（来自微软何凯明团队）。然后R-FCN是对Faster RCNN网络进行了改进，去掉了全连接层使得网络成为了全卷积网络，从而提升了检测速度，那么还能不能继续对R-FCN进行改进呢？Light-Head RCNN就实现了这一改进，我们

2020-06-14 19:29:38 479

原创一个实用价值很大的人脸关键点检测算法PFLD

1. 前言

2020-06-10 20:54:37 1848

原创 CPU上的实时人脸检测算法FaceBoxes

1. 前言今天来介绍一个在CPU上可以实时运行的人脸检测器FaceBoxes，FaceBoxes仍然是以SSD为基础进行了改进，在速度和精度上都取得了较好的Trade-Off，所以就一起来看看这篇论文吧。2. 算法总览我们先看一下FaceBoxes的整体结构图：我们可以看这个网络和SSD非常类似，主要是在SSD的基础上针对人脸检测这个具体任务对其做了几点改进，例如所有Anchor的长宽比例都是1:11:11:1，并且只在三个特征层上进行预测（预知人脸的尺寸变化比例不大）。接下来我们就分别看一下这几

2020-06-07 16:22:26 1017

原创 InsightFace力作：RetinaFace单阶段人脸检测器

1. 前言RetinaFace是2019年5月来自InsightFace的又一力作，它是一个鲁棒性较强的人脸检测器。它在目标检测这一块的变动其实并不大，主要贡献是新增了一个人脸关键点回归分支（5个人脸关键点）和一个自监督学习分支（主要是和3D有关），加入的任务可以用下图来表示：语言是空洞的，我们来看一下在WiderFace数据集上RetinaFace的表现：另外再来看看论文跑出来的一个效果图：2. RetinaFace的特点RetinaFace有几个主要特点：采用FPN特征金字塔提取多尺

2020-06-03 22:01:12 1074

原创【AI PC端算法优化】八，小半径中值滤波的SSE极速优化

1. 前言大家应该经常碰到这种需求，那就是使用3×33\times 33×3或者5×55\times 55×5这种相对比较小的窗口进行中值滤波，而如果在图像的分辨率比较大的情况下这种操作也是比较耗时的。所以在这种固定场景下设计一个定制的优化算法是有意义的。2. 普通的3*3中值滤波实现普通的实现没什么好说，就是直接在窗口区域内遍历寻找中位数即可，这里获取中值直接使用了c语言的qsort。代码实现如下：int ComparisonFunction(const void *X, const void *

2020-06-02 21:28:44 866 3

原创 DCN V1代码阅读笔记

1. 前言笔者前几天阅读了MASA 的可变形卷积算法，并写了一篇算法笔记：MASA DCN(可变形卷积) 算法笔记，然后里面也说了会放出一个代码解读出来，所以今天的推文就是来干这件事的，希望看完这篇文章你可对DCN的细节可以更加了解。本次解析的代码来自：https://github.com/ChunhuanLin/deform_conv_pytorch 。2. 代码整体介绍打开这个工程，我们发现只有333个文件，整个结构非常简单：实际上我们关注前面222个文件deform_conv.py和dem

2020-05-28 23:34:37 1321 6

原创官方DarkNet YOLO V3损失函数完结版

1. 前言有了前面两篇文章的铺垫，基本上YOLOV3的损失函数就比较明确了。然后在上一节还存在一个表述错误，那就是在坐标损失中针对bbox的宽度www和高度hhh仍然是MSE Loss，而针对bbox的左上角坐标xxx，yyy的损失则是我们YOLOV3损失函数再思考 Plus 推出来的BCE Loss。接下来我就完整的写一下根据DarkNet官方源码推出来的YOLOV3的Loss。2. DarkNet YOLOV3 Loss直接写出公式，注意带*号的变量代表预测值，不带*号的表示标签：loss(ob

2020-05-23 22:24:04 5564 1

原创 YOLOV3损失函数再思考 Plus

1. 前言看到这个题目想必大家都猜到了，昨天的文章又有问题了。。。今天，又和两位大佬交流了一下YOLOV3损失函数，然后重新再对源码进行了梯度推导我最终发现，我的理解竟然还有一个很大的错误，接下来我就直入主题，讲讲在昨天文章放出的损失函数上还存在什么错误。2. 回顾上篇文章的地址是：你对YOLOV3损失函数真的理解正确了吗？，然后通过推导我们将损失函数的表示形式定格为了下面的等式：那么这个等式还存在什么问题呢？答案就是DarkNet中坐标损失实际上是BCE Loss而不是这个公式写的MSE L

2020-05-21 21:55:12 548

原创你对YOLOV3损失函数真的理解正确了吗？

1. 前言昨天行云大佬找到我提出了他关于GiantPandaCV公众号出版的《从零开始学YOLOV3》电子书中关于原版本的YOLOV3损失的一个质疑，并给出了他的理解。昨天晚上我仔细又看了下原始论文和DarkNet源码，发现在YOLOV3的原版损失函数的解释上我误导了不少人。所以就有了今天这篇文章，与其说是文章不如说是一个错误修正吧。2. 在公众号里面的YOLOV3损失函数在我们公众号出版的YOLOV3的PDF教程里对原始的DarkNet的损失函数是这样解释的，这个公式也是我参照源码（https://

2020-05-20 20:57:49 1035

原创 MASA DCN(可变形卷积) 算法笔记

1. 前言Deformable Convlolutional Networks是ICCV 2017一篇用在检测任务上的论文，它的出发点是在图像任务中目标的尺寸，形状变化不一，虽然目前（指代论文发表以前）的CNN对这些变化有一定的鲁棒性，但并不太够。因此论文以此为切入点，通过在卷积层中插入offset（可变形卷积）和在ROI Pooling层中插入offset（可变形ROI Pooling）来增强网络的特征提取能力。这个offset的作用是使网络在提取特征时更多的把注意力聚焦到和训练目标有关的位置上，可以更

2020-05-18 22:36:23 1975

原创用于人脸检测的SSH算法

1. 前言Single Stage Headless Face Detector（SSH）是ICCV 2017提出的一个人脸检测算法，它有效提高了人脸检测的效果，主要的改进点包括多尺度检测，引入更多的上下文信息，损失函数的分组传递等等，论文相对比较简单，获得的效果也还不错（从Wider Face的结果来看，和前几天介绍的在小尺寸人脸检测上发力的S3FD 差不多）。2. 网络结构SSH算法的网络结构如Figure2所示：SSH算法是在VGG的基础上进行了改进，创新点主要有两个，即尺度不变性和引入更多

2020-05-17 18:14:25 671

原创【AI PC端算法优化】七，RGB和YUV图像颜色空间互转SSE优化

1. 前言继续学习指令集优化的知识，今天来讨论一个图像颜色空间转换经常碰到的一个问题即RGB和YUV图像的颜色空间转换，我们从原理介绍和普通实现开始，然后介绍一些优化方法并引入SSE指令集来优化这个算法的速度。2....

2020-05-13 23:19:22 925

原创 SNIP的升级版SNIPER（效果比Mosaic更佳）

1. 前言前面介绍了在小目标检测上另辟蹊径的SNIP算法，这一节来介绍一下SNIP的升级版SNIPER算法，这个算法的目的是减少SNIP的计算量。并且相比于SNIP，基于Faster RCNN（ResNet101作为Backbone）的实验结果显示SNIPER的mAP值比SNIP算法提升了4.64.64.6个百分点，所以效果也还是非常不错的。在单卡V100上，每秒可以处理555涨图像，这个速度在two-stage的算法中来看并不快，但是效果是非常好。2. 介绍SNIP算法借鉴了多尺度训练的思想进行训练

2020-05-10 22:53:34 951

ncsdk-windows.rar

cs231-斯坦福大学-李菲菲-2016 课件

空空如也