【卷积神经网络的一些基本概念】

卷积神经网络的一些基本概念

1. 超参数
   学习率(Learning rate)：运用梯度下降算法进行优化时，在权重的更新规则中，梯度项前会乘以一个系数，这个系数就叫学习速率 α 。如果学习速率太小，则会使收敛太慢，无法找到损失函数最小值。如果学习率太大，则会导致损失函数大幅振荡，迭代过快，梯度下降法可能会略过最优解，甚至可能发散。
   Epoch：所有的训练数据输入神经网络中， 完成一次前向计算 + 反向传播的过程就是一个Epoch。通常将所有数据迭代训练一次是不够的， 需要反复多次才能拟合、收敛。随着epoch 数量的增加， 权重更新迭代的次数增多， 曲线从最开始的不拟合状态， 进入优化拟合状态， 最终可能进入过拟合。epoch的设置与数据集的多样化程度有关， 多样化程度越强， epoch 越大。
   Batch
   BatchSize
   迭代次数

2. 网络结构
   Dropout：
   激活函数：神经网络的每个神经元接收上一层神经元的输出值作为本层的输入，激活函数的主要目的是引入非线性因素，如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，在激活函数的作用下，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。