![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
小小小读书匠
这个作者很懒,什么都没留下…
展开
-
模型加速一:知识蒸馏(Knowledge Distillation)
一 背景知识蒸馏(KD)是想将复杂模型(teacher)中的dark knowledge迁移到简单模型(student)中去,一般来说,teacher具有强大的能力和表现,而student则更为紧凑。通过知识蒸馏,希望student能尽可能逼近亦或是超过teacher,从而用更少的复杂度来获得类似的预测效果。Hinton在Distilling the Knowledge in a Neural...原创 2020-03-08 20:42:37 · 3263 阅读 · 0 评论 -
深度学习框架学习一:深度学习框架介绍
现如今开源生态非常完善,深度学习相关的开源框架众多,光是为人熟知的就有caffe,tensorflow,pytorch/caffe2,keras,mxnet,paddldpaddle,theano,cntk,deeplearning4j,matconvnet等。本人一开始学习的时用的caffe,后来接触tensorflow、keras、mxnet、pytorch等,导致现在各个框架混乱,于是开...原创 2019-07-28 10:21:21 · 486 阅读 · 0 评论 -
加速卷积运算
解析卷积高速计算中的细节超详细的Tengine GEMM矩阵乘法汇编教程Winograd,GEMM卷积--加速的卷积运算原创 2019-09-15 17:02:09 · 657 阅读 · 0 评论