卷积神经网络CNN

转载 2015年11月17日 16:27:33

卷积神经网络CNN

2014年09月05日 
近来在了解深度学习。深度神经网络的一大特点就是含有多隐含层。卷积神经网络(CNN)算是深度神经网的前身了,在手写数字识别上在90年代初就已经达到了商用的程度。本文中将简要介绍CNN,由于相应的博文资料已经很多,也写的很好,本篇最有价值的是参考资料部分。

前向神经网络数字识别

假设我们的图片是28*28像素的,使用最简单的神经网络进行识别,如图1

图1

输入层是像素值(一般使用黑白二进制),输出层是10个数字,隐含层的层数和节点书可以调整,图1只是示意。

这样的神经网络模型是可行的,但效果不会非常好,其存在以下问题:

1. 一般要得到较好的训练效果,隐层数目不能太少,当图片大的时候,需要的权值会非常多!

2. 对平移、尺度变化敏感(比如数字偏左上角,右下角时即识别失败)

3. 图片在相邻区域是相关的,而这种网络只是一股脑把所有像素扔进去,没有考虑图片相关性。

卷积神经网络(CNN)

CNN通过local receptive fields(感受野),shared weights(共享权值),sub-sampling(下采样)概念来解决上述三个问题【2】。

LeNet-5是一个数字手写系统,其结构图如下,是一个多层结构

图2

这个图在各种资料里出现的非常多,在此偷个懒,不详细解释了。对此图最详细的说明请见【2】。

有一点要特别容易理解出错:权值共享不是5*5小块内的权值一样。5*5小块有25个不同权值,其作为一个滤波器,像抹窗户一样遍历整个图片。

推荐读物

【1】http://blog.csdn.net/zouxy09/article/details/8781543 (我的小伙伴的博文,非常适合作为入门级读物,他的一系列博客都很好)

【2】Gradient-Based Learning Applied to Document Recognition (极好的文!尤其是p5-p9,一定要细看,反复琢磨。把LeNet-5的来龙去脉讲得清清楚楚)

【3】http://yann.lecun.com/exdb/lenet/index.html (Yann LeCunn实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩等识别,最有价值的是把隐层用图像显示出来了,很生动形象)

【4】http://blog.csdn.net/celerychen2009/article/details/8973218 (一位网友的博客,基本上是对【2】的通俗讲解)

【5】http://www.cnblogs.com/tornadomeet/archive/2013/04/09/3009830.html (一位网友的仿真实验,有助于理解,他的一系列博客都很注重实验)

http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi (一位外国网友自己实现的CNN,重构LeCunn的实验)

【6】Receptive fields, binocular interaction and functional architecture in the cat's visual cortex (1963年的文章,猫的局部感受野的生理学基础,从生理学上支持CNN是有效的,很长,我只略扫了一眼)

联系方式:qiuqiangkong@gmail.com

CNN 卷积神经网络结构

CNNcnn每一层会输出多个feature map, 每个Feature Map通过一种卷积滤波器提取输入的一种特征,每个feature map由多个神经元组成,假如某个feature map的sha...
  • zhongkeli
  • zhongkeli
  • 2016年07月07日 22:02
  • 13443

CNN卷积神经网络新想法

最近一直在看卷积神经网络,想改进改进弄出点新东西来,看了好多论文,写了一篇综述,对深度学习中卷积神经网络有了一些新认识,和大家分享下。   其实卷积神经网络并不是一项新兴的算法,早在上世纪八十年代就...
  • u013088062
  • u013088062
  • 2015年08月07日 22:10
  • 8602

转载——卷积神经网络(CNN)基础入门介绍

该篇写得很详细并且很清楚,转自:http://www.jeyzhang.com/cnn-learning-notes-1.html 概述 卷积神经网络(Convolutional Neur...
  • Chrls_Wang
  • Chrls_Wang
  • 2016年06月18日 16:15
  • 8174

深度学习(DL):卷积神经网络(CNN):从原理到实现

序深度学习现在大火,虽然自己上过深度学习课程、用过keras做过一些实验,始终觉得理解不透彻。最近仔细学习前辈和学者的著作,感谢他们的无私奉献,整理得到本文,共勉。1.前言(1)神经网络的缺陷在神经网...
  • a819825294
  • a819825294
  • 2016年12月01日 20:30
  • 17754

卷积神经网络(CNN)相关知识以及数学推导

本篇博客详细的介绍了卷积神经网络的有关知识和数学推导
  • sinat_28731575
  • sinat_28731575
  • 2017年09月29日 20:37
  • 428

卷积神经网络(CNN)学习笔记2:举例理解

下图是一个经典的CNN结构,称为LeNet-5网络 可以看出,CNN中主要有两种类型的网络层,分别是卷积层和池化(Pooling)/采样层(Subsampling)。卷积层的作用是提取图像的各种特...
  • bingningning
  • bingningning
  • 2016年08月30日 21:28
  • 1808

卷积神经网络CNN原理——结合实例matlab实现

卷积神经网络CNN是深度学习的一个重要组成部分,由于其优异的学习性能(尤其是对图片的识别)。近年来研究异常火爆,出现了很多模型LeNet、Alex net、ZF net等等。由于大多高校在校生使用ma...
  • u010540396
  • u010540396
  • 2016年10月22日 21:32
  • 22583

深度学习算法实践10---卷积神经网络(CNN)原理

其实从本篇博文开始,我们才算真正进入深度学习领域。在深度学习领域,已经经过验证的成熟算法,目前主要有深度卷积网络(DNN)和递归网络(RNN),在图像识别、视频识别、语音识别领域取得了巨大的成功,正是...
  • Yt7589
  • Yt7589
  • 2016年08月26日 14:46
  • 9724

DeepLearning tutorial(4)CNN卷积神经网络原理简介+代码详解

DeepLearning tutorial(4)CNN卷积神经网络原理简介+代码详解 @author:wepon @blog:http://blog.csdn.net/u012162613...
  • u012162613
  • u012162613
  • 2015年01月28日 07:48
  • 58165

深度学习之卷积神经网络CNN及tensorflow代码实现示例

一、CNN的引入在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的 2...
  • cxmscb
  • cxmscb
  • 2017年05月01日 13:28
  • 28992
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:卷积神经网络CNN
举报原因:
原因补充:

(最多只允许输入30个字)