2019年03月_liangjiubujiu

08月 07月 06月 05月 04月 03月 01月

转载梯度爆炸与梯度裁剪

原理问题：为什么梯度爆炸会造成训练时不稳定而且不收敛？梯度爆炸，其实就是偏导数很大的意思。回想我们使用梯度下降方法更新参数：w1w2=w1−α∂J(w)∂w1=w2−α∂J(w)∂w2w1=w1−α∂J(w)∂w1w2=w2−α∂J(w)∂w2损失函数的值沿着梯度的方向呈下降趋势，然而，如果梯度（偏导数）很大话，就会出现函数值跳来跳去，收敛不到最值的情况，如图：当然出现这种情况，其中...

2019-03-27 09:58:05 1127

转载 2018-22Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And...

本次介绍的方法为“深度压缩”，文章来自2016ICLR最佳论文《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding转自:http://blog.csdn.net/sh...

2019-03-27 09:45:45 340

转载 2018-17Dynamic Network Surgery for Efficient DNNs

NIPS 2016 http://arxiv.org/abs/1608.04493code: https://github.com/yiwenguo/Dynamic-Network-Surgery本文提出一种动态压缩CNN网络模型算法。针对 LeNet-5 和 AlexNet 可以分别减少 108倍和 17.7倍的参数，而且不损失精度。本文主要参考了文献【9】，文献【9】通过删除一些不重...

2019-03-27 09:41:13 315

转载理解 product quantization 算法

转自：http://vividfree.github.io/机器学习/2017/08/05/understanding-product-quantization 理解 product quantization 算法 05 August 2017 1. 引言Product quantization，国内有人直译为乘积量化，这里的乘积是指笛...

2019-03-26 23:11:06 1547

转载 K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means)介绍与对比

K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means)介绍与对比转自：https://www.cnblogs.com/yixuan-xu/p/6272208.html 一、概述在本篇文章中将对四种聚类算法(K-means,K-means++,...

2019-03-26 22:37:47 1290

转载轮盘赌选择法

转自http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html以及https://www.cnblogs.com/adelaide/articles/5679475.html轮盘赌选择法又称比例选择方法．其基本思想是：各个个体被选中的概率与其适应度...

2019-03-26 22:31:38 3597

转载矢量量化（Vector Quantization）

引自：http://blog.csdn.net/zouxy09/article/details/9153255矢量量化（VQ，Vector Quantization）是一种极其重要的信号压缩方法。VQ在语音信号处理中占十分重要的地位。广泛应用于语音编码、语音识别和语音合成等领域。一、概述 &nbsp...

2019-03-26 22:07:47 608

转载神经网络压缩综述

1.研究背景对模型预测精度无明显影响压缩模型的参数数量、深度来降低模型空间复杂度全连接层参数多，模型大小由全连接层主导不显著提高训练时间复杂度，降低预测时间复杂度（计算量）卷积层计算量大，计算代价由卷积操作主导2.方法2.1.更精细模型的设计Aggregated Residu...

2019-03-26 13:50:14 976

转载 SqueezeNet详细解读

提出了新的网络架构Fire Module，通过减少参数来进行模型压缩使用其他方法对提出的SqeezeNet模型进行进一步压缩对参数空间进行了探索，主要研究了压缩比和3∗33∗3卷积比例的影响这篇文章是 SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 的解读，在精简部...

2019-03-26 10:31:56 2366

转载直方图均衡化

局部增强常用于一些要求特定增强效果的场合：（1）局部增强可借助将图像分成子图像（一般奇x奇）再对每个子图像具体增强。直方图变换是空域增强中最常采用的方法，它也很容易用于图像的局部增强。只需先将图像分成一系列（一般互相不重叠）小区域（子图像），此时直方图均衡化或规定化都可以基于小区域内的像素分布进行，从而使各小区域得到不同的增强效果。（对每个小区域进行全局增强）（2）也可在对整幅图增强时...

2019-03-25 10:55:40 1250

转载 Rethinking the value of network pruning

2019-03-17 21:42:54 327 1

转载 MEC —— 优化内存与速度的卷积计算

1. 背景工作目前的CNN模型中，全连接层往往在最后一层才会使用。意思也就是说，网络的主体是由卷积层构成的。因此，加快卷积层的计算对于整个网络的性能至关重要。目前，卷积的计算大多采用间接计算的方式，主要有以下三种实现方式：im2col + GEMM。 caffe等很多框架中都使用了这种计算方式，原因是将问题转化为矩阵乘法后可以方便的使用很多矩阵运算库（如MKL、openblas、Eig...

2019-03-17 16:42:58 953

转载转神经网络压缩提升方法

神经网络压缩2018-07-06| 阅读：次https://ewenwan.github.io/2018/07/Deep_Compression/性能提升方法本文github链接1. 小模型 mobilenet , 更精细模型的设计，紧致网络设计 mobilenet squeezenet shufflenet MobileNet逐通道卷积 + 普通点卷积...

2019-03-17 12:01:53 1462

转载深度神经网络模型压缩和加速

转：https://www.jiqizhixin.com/articles/2018-05-22-9关于作者：小一一，北京大学在读硕士，研究方向为深度模型压缩加速。个人主页：http://yanjoy.win■论文 | A Survey of Model Compression and Acceleration for DeepNeural Networks■ 链接 | https...

2019-03-16 09:40:26 777