2.3神经网络

由浅至深：输入层（input）–卷积层(conv)–激活函数(relu)–池化层(pool)–全连接层(fc) https://blog.csdn.net/yjl9122/article/details/70198357?utm_source=blogxgwz0
课程笔记https://blog.csdn.net/Koala_Tree/article/details/79913655
BP（误差后向传播算法），一个输入，多个隐藏层，一个输出，激活函数sigmoid，训练的模型叫做多层前馈神经网络，局部极小，训练速度慢https://blog.csdn.net/goodshot/article/details/78306073
CNN（卷积神经网络），卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音https://blog.csdn.net/zouxy09/article/details/8781543
1.卷积层:
包含32个卷积核，每个卷积核大小为3x3，border_mode值为“same”意味着我们采用保留边界特征的方式滑窗，而值“valid”则指定丢掉边界像素。根据keras开发文档的说明，当我们将卷积层作为网络的第一层时，我们还应指定input_shape参数，显式地告知输入数据的形状，对我们的程序来说，input_shape的值为(64,64,3)，来自Dataset类，代表64x64的彩色RGB图像。
2、池化层（pooling layer）：
池化层存在的目的是缩小输入的特征图，简化网络计算复杂度；同时进行特征压缩，突出主要特征。我们通过调用MaxPooling2D()函数建立了池化层，这个函数采用了最大值池化法，这个方法选取覆盖区域的最大值作为区域主要特征组成新的缩小后的特征图。显然，池化层与卷积层覆盖区域的方法不同，前者按照池化尺寸逐块覆盖特征图，卷积层则是逐个像素滑动覆盖。对于我们输入的64x64的脸部特征图来说，经过2x2池化后，图像变为32x32大小。
3、Dropout层：
随机断开一定百分比的输入神经元链接，以防止过拟合。那么什么是过拟合呢？一句话解释就是训练数据预测准确率很高，测试数据预测准确率很低，用图形表示就是拟合曲线较尖，不平滑。导致这种现象的原因是模型的参数很多，但训练样本太少，导致模型拟合过度。为了解决这个问题，Dropout层将有意识的随机减少模型参数，让模型变得简单，而越简单的模型越不容易产生过拟合。代码中Dropout()函数只有一个输入参数——指定抛弃比率，范围为0～1之间的浮点数，其实就是百分比。这个参数亦是一个可调参数，我们可以根据训练结果调整它以达到更好的模型成熟度。
4、Flatten层：
截止到Flatten层之前，在网络中流动的数据还是多维的（对于我们的程序就是2维的），经过多次的卷积、池化、Dropout之后，到了这里就可以进入全连接层做最后的处理了。全连接层要求输入的数据必须是一维的，因此，我们必须把输入数据“压扁”成一维后才能进入全连接层，Flatten层的作用即在于此。该层的作用如此纯粹，因此反映到代码上我们看到它不需要任何输入参数。
5、全连接层（dense layer）：
全连接层的作用就是用于分类或回归，对于我们来说就是分类。keras将全连接层定义为Dense层，其含义就是这里的神经元连接非常“稠密”。我们通过Dense()函数定义全连接层。这个函数的一个必填参数就是神经元个数，其实就是指定该层有多少个输出。在我们的代码中，第一个全连接层（#14 Dense层）指定了512个神经元，也就是保留了512个特征输出到下一层。这个参数可以根据实际训练情况进行调整，依然是没有可参考的调整标准，自调之。
6、分类层：
全连接层最终的目的就是完成我们的分类要求：0或者1，模型构建代码的最后两行完成此项工作.