深度学习基础之《TensorFlow框架（17）—卷积神经网络》

一、卷积神经网络介绍

1、背景
随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译等等，多层神经网络的简单叠加显然力不从心

2、卷积神经网络与传统多层神经网络对比
（1）传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适

（2）卷积神经网络CNN，在原来多层神经网络的基础上，加入了更加有效的特征学习部分，具体操作就是在原来的全连接层前面加入了卷积层和池化层

（3）卷积神经网络出现，使得神经网络层数得以加深，“深度”学习由此而来

（4）通常所说的深度学习，一般指的是这些CNN等新的结构以及一些新的方法（比如新的激活函数Relu等），解决了传统多层神经网络的一些难以解决的问题

（5）与传统多层神经网络对比
输入层
隐藏层
    卷积层
    激活层
    池化层
    全连接层
输出层

3、卷积神经网络发展历史

（1）最初由机器学习中人工神经网络发展而来

（2）1989年LeCun1989

（3）1998年LeNet

（4）2012年AlexNet，改进了很多

（5）加强功能
网络结构加深
加强卷积功能
从分类到检测
新增功能模块

3、卷积网络ImageNet比赛错误率

（1）ImageNet可以说是计算机视觉研究人员进行大规模物体识别和检测时，最先想到的视觉大数据来源，最初由斯坦福大学李飞飞等人在CVPR 2009的一篇论文中推出，并被用于替代PASCAL数据集（后者在数据规模和多样性上都不如ImageNet）和LableMe数据集（在标准化上不如ImageNet）

（2）ImageNet不但是计算机视觉发展的重要推动者，也是这一波深度学习热潮的关键驱动力之一

（3）截止2016年，ImageNet中含有超过1500万由人工注释的图片网址，也就是带标签的图片，标签说明了图片中的内容，超过2.2万个类别

二、卷积神经网络三个结构

1、一张图片经过一系列的卷积、激活、池化，最后有一个FC（全连接）
也是输出top-5 error

2、神经网络（neural networks）的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层（pooling layer，又叫下采样层）以及激活层

3、每一层的作用
（1）卷积层：通过在原始图像上平移来提取特征
    相当于是拿着一个过滤器或者小窗口，通过在原始图片上平移来提取特征
（2）激活层：增加非线性分割能力
（3）池化层：减少学习的参数，降低网络的复杂度（最大池化和平均池化）

4、为了能够达到分类效果，还会有一个全连接层（Full Connection）也就是最后的输出层，进行损失计算并输出分类结果