算法移植优化
吃不胖的卷卷
巧者劳而知者忧,无能者无所求。饱食而遨游,泛若不系之舟
展开
-
MXnet转caffe
mxnet虽好,但是mxnet框架还是有点小众,MXnet现在越来越受欢迎了,不过现在要把mxnet训练的模型部落地到移动端,有必要在Inference阶段将其转换为其他框架,以便后续统一部署和管理。Caffe作为小巧灵活的老资格框架,使用灵活,部署方便,所以尝试将mxnet训练的mobilefacenet模型转换为Caffe。这里简单记录用mxnet训的mobilefacenet模型转换为Caf...原创 2019-05-30 14:35:33 · 2836 阅读 · 6 评论 -
tensorflow的量化教程(2)
Google提供的quantization-aware-trainning的量化训练方法,具体可以参考https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize对应的论文https://arxiv.org/abs/1712.05877还有这个白皮书https://arxiv.or...原创 2019-01-11 22:24:00 · 7831 阅读 · 37 评论 -
tensorflow的量化教程(1)
前段时间利用tensorflow的量化工具做了量化训练,精度损失很小,有时甚至比浮点模型精度更好一点,确实强大。利用tflite框架在3536上相比浮点模型有了2X左右的速度提升,现在做一个总结记录。https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize,这是tensorflow的量化...原创 2018-09-10 12:02:00 · 14459 阅读 · 68 评论 -
利用TVM优化ARM GPU上的移动深度学习
原文地址:https://tvm.ai/2018/01/16/opt-mali-gpu.html 随着深度学习的巨大成功,对移动设备部署深度神经网络的需求正在迅速增长。与我们在桌面平台上的工作类似,在移动设备中使用GPU可以同时提高推理速度和能效。但是,大多数现有的深度学习框架都不能很好地支持移动GPU。难点在于移动GPU架构和桌面GPU架构之间的差异。这意味着在移动GPU上进行优...原创 2018-08-09 19:28:54 · 6084 阅读 · 0 评论 -
神经网络模型量化论文小结
现在“边缘计算”越来越重要,真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多,网络模型的权重参数数量也随之增长,专用硬件平台可以很好的解决计算与存储的双重需求,但目前还不成熟,存在些亟待解决的问题,没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积,加速运算,能够将算法应用在通用的嵌入式移动平台。陆陆续续阅读了关于模型量化的论文,通过这篇博客做一个...原创 2018-07-22 13:25:54 · 28602 阅读 · 14 评论 -
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
论文:A Survey of Model Compression and Acceleration for Deep Neural Networks 深度神经网络模型压缩与加速综述 摘要--深度卷积神经网络(CNN)目前在很多视觉识别任务中有非常良好的表现。然而,目前的深度卷积神经网络模型非常耗费计算资源和内存,面临着在终端部署和低延迟需求场景下难...原创 2018-05-03 14:27:17 · 5839 阅读 · 0 评论 -
【论文阅读笔记】---二值神经网络(BNN)
现在神经网络一般采用浮点计算,需要较大的存储空间和计算量,严重阻碍在移动端的应用。二值化神经网络以其高模型压缩率和快计算速度的潜在优势,近些年成为深度学习的热门研究方向。本文就是对《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or ...原创 2018-04-27 22:36:11 · 18935 阅读 · 7 评论