深度学习之为什么系列
学习过程中,要知其然更要知其所以然,这样才不至于囫囵吞枣。这里主要从原因出发,对深度学习中的一些概念进行思考。
NodYoung
专注于机器人,计算机视觉,机器学习
展开
-
深度学习相关论文阅读
目标检测OverFeat文章:《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》rcnn代码:https://github.com/rbgirshick/rcnn,prototxt文件在\rcnn-master\finetuning\voc_2012_prototxtf原创 2017-05-07 10:40:48 · 1974 阅读 · 0 评论 -
为什么会出现Batch Normalization层
训练模型时的收敛速度问题众所周知,模型训练需要使用高性能的GPU,还要花费大量的训练时间。除了数据量大及模型复杂等硬性因素外,数据分布的不断变化使得我们必须使用较小的学习率、较好的权重初值和不容易饱和的激活函数(如sigmoid,正负两边都会饱和)来训练模型。这样速度自然就慢了下来。下面先简单示例一下数据分布的不断变化为什么会带来这些问题,如图: 我们使用Wx+b=0对小黄和小绿进行分类。由于原创 2017-04-21 16:36:12 · 9494 阅读 · 1 评论 -
提升深度学习模型表现的技巧
本文是对提升深度学习表现的一些方法总结,主要来自于,也借鉴了PPT的部分思想。Data Augmentation增加训练数据几何变换图像翻转(flipping)、剪切(crop)、缩放(scale)、旋转(rotation)、平移(shift)对比度变换(contrast)在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变.颜色变换(color)a) 在训练集像素值的RGB颜色空间进行原创 2017-01-16 21:06:42 · 2984 阅读 · 0 评论 -
经典卷积神经网络介绍
AlexNet 2012年,Hinton的学生Alex Krizhevsky提出了深度卷积神经网络模型AlexNet,获得当年ILSVRC(Image Large Scale Visual Recognition Challenge)比赛分类项目的冠军。AlexNet主要使用到的新技术如下:a) 成功使用ReLU作为CNN的激活函数,并验证了其在较深网络中的有效性,解决了Sigmod在网络较深时的原创 2017-04-22 19:08:43 · 7501 阅读 · 0 评论 -
为什么使用卷积层替代CNN末尾的全连接层
原本CNN网络的经典结构是: 卷积层——>池化层——>……——>全连接层FCN的出现为什么要把CNN网络最后的全连接层特换为卷积层?或者换句话说这样会带来什么好处呢? 1. 首先,说一下卷积层和全连接层的区别:卷积层为局部连接;而全连接层则使用图像的全局信息。可以想象一下,最大的局部是不是就等于全局了?这首先说明全连接层使用卷积层来替代的可行性。 2. 然后,究竟使用卷积层代替全连接层会带来什原创 2017-04-16 11:32:50 · 22876 阅读 · 0 评论 -
为什么“Pretrained+Fine-tuning”
Deep Learning或者说CNN在图像识别这一领域取得了巨大的进步,那么自然我们就想将CNN应用到我们自己的数据集上,但这时通常就会面临一个问题:通常我们的dataset都不会特别大,一般不会超过1万张,甚至更少。这种情况下,直接使用train from scratch的方式在小数据集上容易过拟合,尤其是在数据分布差异化很大的场景下。然后就有了迁移学习了,Transfer Learning关心原创 2017-04-13 11:43:11 · 5444 阅读 · 1 评论 -
为什么“卷积”神经网络
一直在接触卷积神经网络,今天就说一下为什么会有卷积,卷积会带来什么好处和CNN中如何使用卷积。为什么会有卷积(这里主要解释下卷积具有什么意义,为什么人们会想到卷积。有些人一提到卷积可能首先想起来的是局部连接、参数共享呀等等,这些只是它带来的好处。如果一个方法对于我们的问题本身没有什么意义,即使它会带来一大堆的好处人们应该也是不会去使用的。)19世纪60年代,科学家通过对猫的视觉皮层细胞研究发现,每一原创 2017-04-12 22:40:52 · 10704 阅读 · 1 评论