神经网络结构
williamyi96
PhD Student on Machine Learning, Optimization, Federated Learning, and Data-Efficient Learning.
展开
-
SqueezeNet模型详解
关于SqueezeNet为何能够在达到AlexNet精度的基础之上还能够使模型的参数减小巨多的分析详情,参见SqueezeNet这篇文章,本文章的目的是在实际应用中如何引入SqueezeNet。设计基本原则1.使用更小的1*1卷积核来替换3*3卷积核采取了之后例如GoogleNet,ResNet设计中的3*3卷积来代替ALexNet的7*7卷积,然后用了1*1来部分替代上述的3*3卷积。但是由于为了原创 2017-08-26 17:49:10 · 7607 阅读 · 0 评论 -
[论文解读] DSD -- Dense-Sparse-Dense Training for Neural Network
《DSD: Dense-Sparse-Dense Training for Neural Network》发表在ICLR17, 这是一篇关注于提升模型训练得到的准确率的文章,而不是一作传统的研究领域:模型压缩。DSD是一种新的训练模型的方式,可以提高预训练模型的准确率。DSD和dropout不一样,虽然都是在训练过程中有prune(剪枝)操作,但是DSD是有一定依据来选择去掉哪些connect原创 2017-09-17 17:25:33 · 945 阅读 · 0 评论 -
[论文解读] Deep Compression
基本介绍《Deep Compression : Compressing Deep Neural Networks With Pruning, Trained Quantization and Huffman Coding》 是ICLR16的best paper, 其核心的想法是在不损失模型精度的情况下,将ALexNet, VGG-16等普遍使用的模型进行压缩,使此类模型移植到微型嵌入式或者移动设备成原创 2017-09-16 21:24:45 · 810 阅读 · 0 评论 -
梯度下降优化算法综述
From: http://ruder.io/optimizing-gradient-descent/An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an转载 2017-08-26 14:56:42 · 1183 阅读 · 0 评论 -
pooling 与 unpooling 深度解析
pooling 和 unpooling这两种具体实现方式对应到神经网络的技术上就是downsampling和unsampling。两者在神经网络的系列方法中都使用较多,下面将从总体上分析两者的作用。下采样(downsampling)下采样是神经网络设计的必要方法,其主要作用是浓缩图像,减少运算量;另外一方面是扩大特征像素点对应的感知野,忽略掉一些细微的噪声信息,取得更好的检测等任务的效果。上采样(u原创 2017-08-24 15:59:46 · 3756 阅读 · 1 评论 -
[论文解读] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices原创 2017-10-15 13:26:16 · 606 阅读 · 0 评论 -
基于Tensorflow的机器学习(6) -- 卷积神经网络
本篇博客将基于tensorflow的estimator以及MNIST实现LeNet。具体实现步骤如下:导入必要内容from __future__ import division, print_function, absolute_import# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datam原创 2017-10-24 21:05:43 · 663 阅读 · 0 评论 -
CNN--based Network Architectures
主要参考资料为: cs231n–Lecture9: CNN Architectures原创 2017-08-20 16:18:15 · 288 阅读 · 0 评论 -
浅谈神经网络反向传播的梯度丢失问题
在神经网络的训练过程中,由于神经网络初始参数的随机初始化一般是正态分布函数的初始化,因此往往初始化权值小于1,导致了如果随着网络深度的提升,如果使用sigmoid函数,则累积的结果是梯度值的指数级减小,从而导致梯度趋近于0,使其难以有效地被训练。后续会对当前针对网络层数加深,解决梯度丢失问题的多种方法进行归纳。参考资料: 深度神经网络中的梯度丢失和梯度爆炸原创 2017-08-24 16:03:15 · 571 阅读 · 0 评论 -
ReLU函数进行Batch Normalization意义分析
我们都知道,正则化是一种防止训练参数过拟合的一种极为有效的方式。激活函数的主要作用是提升圣经网络的非线性性。之前常用的激活函数,如Sigmoid, tanh函数,由于其饱和区的接近于0,因此需要将其进行正则化,转换为正态分布,将数据大部分规范到线性范围之内,然后通过两个额外的线性转换参数来进行微调,从而避免后续梯度消失问题的产生。那么就有一个问题了,ReLU这一函数并没有上界,也就是其导数不存在趋近原创 2017-08-25 00:27:00 · 8188 阅读 · 5 评论 -
1*1卷积核作用分析
1*1卷积核,这种小巧的卷积核从GoogLeNet,ResNet之后得到了广泛的使用,其在理论上和时间上都被证明了针对特定的问题可以一定程度地提升神经网络的效率。关于1*1卷积核的作用,总体而言主要有如下两个方面的内容:进行升维与降维并减少网络参数。关于其降维并减少网络参数的特点在GooLeNet中表现得一览无遗,详情可以参见GooLeNet,关于其升维并减少网络参数的功能在ResNet中使用得非原创 2017-08-24 16:01:59 · 2217 阅读 · 0 评论 -
Batch Normalization
原文出处: http://blog.csdn.net/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB,因为这个技术确实很NB,虽然有转载 2017-08-26 14:51:12 · 230 阅读 · 0 评论 -
L0、L1与L2范数
L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存转载 2017-08-26 16:02:21 · 516 阅读 · 0 评论 -
VGG16中3个3*3卷积核对AlexNet中7*7卷积核的替代性分析
使用更小的卷积核是当前在保证网络精度的情况下,减少参数的趋势之一,在VGG16中,使用了3个3*3卷积核来代替7*7卷积核,使用了2个3*3卷积核来代替7*7卷积核,这样做的主要目的是在保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果。以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。如图所示:关于3个3×3卷积核对于7× 7 卷积的替代性思考方式同上原创 2017-08-24 16:14:18 · 12897 阅读 · 4 评论 -
Global Average Pooling对全连接层的可替代性分析
在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅,其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN,因此就没去看论文,看了一下其他人的博客,发现关于其原因讲得并不清楚,只说是那么用的。后来实在是受不了了,看了看论文,而且找到了一个较好的讲解,现在算是完全弄懂了。首先我们来看一下原创 2017-08-24 15:54:22 · 25401 阅读 · 0 评论 -
SSD及其不同主网络实现的性能差异比较
SSD-Caffe(Official) – VGG16 System VOC2007 test mAP FPS (Titan X) Number of Boxes Input resolution Faster R-CNN (VGG16) 73.2 7 ~6000 ~1000 x 600 YOLO (customized) 63.4 45 98原创 2017-10-15 19:01:58 · 3594 阅读 · 2 评论