第一章：神经网络中的名词解释

1. 激活函数
   一般来讲每个神经元都可以对应一个激活函数，简言之，激活函数就是模拟信息在神经元之间传递的激活或者抑制状态。当信息达到了激活函数的阈值，该信息将神经元激活，否则神经元处于抑制状态。这里，激活函数的另一作用就是将神经元的输出“标准化”，防止信息过于膨胀。
   激活函数用来表述CNN的非线性度，对多层网络检测非线性特征十分理想。

2. 损失函数
   将数据输入，将神经网络的输出与历史数据的标签最对对比训练。因为新建立的网络没有受过训练，必然会出错。为解决之一问题，构建损失函数来显示输出数据与真实数据的差异。理想情况下，不断训练，损失函数无限接近于0，这就达到了最佳的训练目的。

3. 减小损失函数的方法-----梯度下降法
   我们的任务就是寻找损失函数的最小值，在每次数据集迭代之后，该方法以使目标函数值下降最快的方式改变网络权重，而这种使目标函数下降最快的方法就是用梯度来确定函数最快的下降方向，这样我们就知道最小值在那个方向。

4. 学习速率
   为了使损失函数不断趋于0，需要计算梯度和步长，即学习速率，来多次迭代数据集推动网络参数的不断优化。每次迭代数据集后，利用梯度下降法训练体哦阿正神经元之间的权重，来减少损失函数，最终得到一个训练好的深度神经网络。

5. 神经网络的学习过程
   过程就是根据训练数据来学习合适的连接权重(connection weight)和功能神经元的阈值。

6. 权值
   就是模型的参数，也就是模型要学习的东西。

7. 权值共享
   生成特征图的卷积核是相同的。权值共享模式可以减少模型的复杂度，使网络更容易训练。

8. 超参数
   一个神经网络的连接方式，网络的层数，每层的节点数这些参数，则不是学习出来的，而是人为事先设置的，这类参数称为超参数。

9. 神经网络训练方法----反向传播算法
   它是计算深度学习模型参数梯度的方法。总的来说，反向传播会依据微积分中的链式法则，按照输入层，靠近输出层的隐含层，靠近输入层的隐含层和输入层的次序，计算并存储模型损失函数有关模型各层的中间变量的参数的梯度。

10. 应用链式求导法则的误差反向传播算法（BP）
    通过不断修正网络参数，求得输出层节点的误差平方和的最小值。
    包括信息的正向传播和误差的反向传播过程，主要解决正向传播算法中难以直接计算隐含层误差的问题。
    正向传播过程是逐层迭代计算出各单元的输出值。
    反向传播过程是根据网络输出的误差，按误差梯度下降的方式，将误差进行逐层回代，修正每一层的权值。

11. 局部感知
    也称稀疏连接。在处理图像这样的高纬度输入时，让每个神经元与前一层的所有神经元进行全连接是不现实的。相反，每个神经元只与输入数据的局部区域进行连接。该连接的空间大小叫作神经元的感知野。然后在更高层将局部的信息综合起来就得到了全局的信息。