基础知识学习小结

之前说过要写一篇神经网络基础知识入门级的博文，因为自己学习的时候又有点遗忘基础知识，所以想将我自学的知识总结一下，但由于时间的原因，之前只是搭了个框架，里面的内容都没有完善，现在接着把没有完成的工作做完。

基础概念

首先， 我们人类之所以拥有理大的学习能力是因为在我们的大脑中存在神经网络， 我们称之为生物神经网络。处于信息时代的人们，享受着信息科技带的我们的便利，这时人们提出可不可以给计算机也使用上神经网络，让计算机模仿人类的思维来工作，因此人工神经网络就这样诞生了。
学习一门新的知识，首先要从底层的基础开始。同样，我们从底层的基础开始来认识人工神经网络，先来一些概念：
1.损失函数：单个训练示例的误差，最经典的是“平方误差”来计算，即预测值与实际值差值的平方。
2.代价函数：整个训练集的损失函数的平均值。
3.最优化：求损失函数达到最小时的权重和偏置。
4.学习率：训练神经网络时，通常使用梯度下降法来优化参数。在每次迭代中，我们都使用反向传播来计算每个权重的损失函数的导数，并从这个权重中减去它。学习率决定了你想要更新权重（参数）值的速度。学习率不能太低导致收敛的速度缓慢，也不能太高导致找不到局部最小值。
5.epoch：循环训练的次数。
6.batch：批次，就是每次训练模型时，喂入的数据的大小。

CNN

卷积神经网络是一种多层的监督学习神经网络，隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器，可以采用逻辑回归，Softmax回归甚至是支持向量机对输入图像进行分类。
1）网络结构
卷积神经网络结构包括：卷积层，降采样层，全链接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。
输入图像统计和滤波器进行卷积之后，提取该局部特征，一旦该局部特征被提取出来之后，它与其他特征的位置关系也随之确定下来了，每个神经元的输入和前一层的局部感受野相连，每个特征提取层都紧跟一个用来求局部平均与二次提取的计算层，也叫特征映射层，网络的每个计算层由多个特征映射平面组成，平面上所有的神经元的权重相等。
通常将输入层到隐藏层的映射称为一个特征映射，也就是通过卷积层得到特征提取层，经过pooling之后得到特征映射层。
2）局部感受野与权值共享
卷积神经网络的核心思想就是局部感受野、是权值共享和pooling层，以此来达到简化网络参数并使得网络具有一定程度的位移、尺度、缩放、非线性形变稳定性。
局部感受野：由于图像的空间联系是局部的，每个神经元不需要对全部的图像做感受，只需要感受局部特征即可，然后在更高层将这些感受得到的不同的局部神经元综合起来就可以得到全局的信息了&#