论文记录
莫失莫忘Lawlite
github地址:https://github.com/lawlite19 欢迎Follow、Star、Fork!
个人网站:http://lawlite.me
展开
-
深度学习Deep Learning(03):权重初始化问题1_Sigmoid\tanh\Softsign激励函数
二、权重初始化问题1_Sigmoid\tanh\Softsign激励函数github地址:https://github.com/lawlite19/DeepLearning_Python1、说明参考论文:http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf或者查看这里,我放在github上了:https://github.原创 2016-12-20 22:42:28 · 10637 阅读 · 0 评论 -
深度学习Deep Learning(05):Batch Normalization(BN)批标准化
github地址:https://github.com/lawlite19/DeepLearning_Python四、Batch Normalization(BN)批标准化1、说明参考论文:http://jmlr.org/proceedings/papers/v37/ioffe15.pdf或者查看这里,我放在github上了:https://github.com/lawlite19/DeepL原创 2017-01-09 21:37:00 · 7793 阅读 · 0 评论 -
论文记录_MobileNets Efficient Convolutional Neural Networks for Mobile Vision Application
本文个人博客地址:点击查看Tensorflow 中的实现:点击查看Caffe 中的实现:点击查看1、概述Google在2017年提出的适用于手机端的神经网络模型主要使用了深度可分离卷积Depthwise Separable Convolution 将卷积核进行分解计算来减少计算量引入了两个超参数减少参数量和计算量 宽度乘数(Width Multiplier): [减少输入和输出的 ch原创 2017-09-13 19:49:30 · 13616 阅读 · 1 评论 -
论文记录-Deep Compression:Compressing DeepNeural Networks With Pruning, Trained Quantization And Huffman
本文个人博客访问地址:点击查看1、概述压缩主要分为三个阶段:剪枝(pruning)、训练分层(trained quantization)以及 哈夫曼编码(Huffman coding)可以压缩35到49倍,并且不影响精度[模型压缩的主要用于还是能够用于小型的设备上,例如手机端等,比如Google的Mobile Net, 但是准确度肯定要比正常的电脑端训练的大网络低一些,在所难免][一般的训原创 2017-09-09 15:08:58 · 3187 阅读 · 0 评论 -
论文记录-Pruning Filters For Efficient ConvNets
1、概述一些剪枝的操作主要是减少了全连接层的参数,全连接层的参数量占比最多(比如VGG-16中全连接层操作占了90%,计算量只占了不到1%), 但是主要的计算量集中在卷层操作论文就是提出了对卷积层进行剪枝操作,然后进行retrain,不会造成稀疏连接(像上篇论文一样,稀疏矩阵操作需要特殊的库等来处理)全连接层可以使用平均池化层来代替以减少参数量2、对Filters进行剪枝,以及Feature原创 2017-09-12 11:29:02 · 8729 阅读 · 2 评论