2019年12月_WTHunt

12月 11月 10月 09月 08月 04月 03月

原创浮点量化逼近策略

目录知识直通车动态定点法（Dynamic Fixed Point Approximation）动态定点法代码迷你浮点法（Minifloat Approximation）迷你浮点数量化代码乘法变移位法（Multiplier-free arithmetic）乘法变移位法量化代码知识直通车参考github链接：https://github.com/Ewenwan/M...

2019-12-31 15:59:11 1740

原创卷积Strassen算法

知识直通车知乎详解：https://zhuanlan.zhihu.com/p/78657463复杂度推导：https://zhuanlan.zhihu.com/p/85002063复杂度推到中文论文：http://xueshu.baidu.com/usercenter/paper/show?paperid=ed57429cf879f9bd2cef1206b8ff69a0&sit...

2019-12-30 19:08:16 347

转载 caffe学习策略

转载https://www.jianshu.com/p/f5cc68790a30

2019-12-26 16:58:38 163

原创浮点卷积winograd算法

目录winograd算法简介知识直通车winograd代码实例解析winograd算法简介现今的Winograd主要来源于1980年，由Shmuel Winograd提出减少FIR滤波器计算量的方法Shmuel Winograd指出，对于输出个数为m，有r个参数的FIR滤波器，不需要m*r次乘法计算，而仅仅需要：次乘法计算即可。下面是一个F(2,3)的例子，即输...

2019-12-24 16:01:06 684 22

原创 Check failed: error == cudaSuccess (74 vs. 0) misaligned address

以下摘自github hoszbh的回答https://github.com/BVLC/caffe/issues/5729modifying cudnn_conv_layer.cpp and aligning the address to be multiples of 32.You can insert tow lines of code beforesize_t total_max...

2019-12-19 15:29:09 377

原创如何插入8bit量化节点(tensorflow)

目录tf流图graph基础知识默认图创建显式图创建多个图调用tf伪量化接口插入kernel、层间量化节点tf流图graph基础知识默认图import tensorflow as tfimport numpy as npa = tf.constant(123)print(a.graph)print(tf.get_default_graph())输出...

2019-12-08 21:48:48 1162 2

原创 smooth l1(huber)+binary cross entropy详解（tensorflow+pytorch）

前言上篇讲到yolov2 loss中使用了两个loss分别时wh使用的smoothl1loss以及其他的BCEloss，这里做个扩展介绍，并对比pytorch以及tensorflow的api接口的使用smoothl1(huber loss)转载自知乎高赞回答：https://www.jianshu.com/p/19483787fa24smooth L1 loss能从两个方面限...

2019-12-01 10:26:55 1029

原创 QNNPACK高性能前向内核库全面剖析——引言篇

前言前段时间因为项目需求，搞了一段时间的前向优化，主要参考了Facebook 18年开源的神经网络加速库QNNPACK。QNNPACK针对INT8的量化网络，对神经网络的各个算子都提供了非常高效的优化方案，传言其卓越的性能几乎击败了全部已公开的加速算法，不管真假，就优化方案而已个人觉得还是比较新颖，值得好好研究的。到目前为止，QNNPACK已经开源一年多了，除了不多的官方资料之外，民间资料...

2019-12-01 09:41:13 1116