神经网络常用参数

1.记录神经网络中的常用参数

1.现在人们分析深度学习崛起原因时常说：因为大数据、GPU的高并行计算能力、ReLU等等，但还有一个常被忽略，却又异常强大的因素就是Gradient Descent （GD）替换成了Stochastic  Gradient Descent （SGD）
GD：所有样本算出的梯度的平均值来更新每一步
SGD：一个样本算出的梯度来更新每一步。可惜训练比较耗时，同时过大的样本差异会使得训练比较震荡，所以有了Minibatch Gradient Descent方法，同时具有二者的特点，是以n个样本算出的梯度的平均值来更新每一步，然而不得不苦逼的根据不同的任务去寻找最优的n，不过在计算机视觉中，由于batch normalization的帮助，可以使用极大的batch size，这时的batch size 往往受限于GPU的现存大小

最直观的超参数就是batch的大小——我们可以一次性将整个数据集喂给神经网络，让神经网络利用全部样本来计算迭代时的梯度（即传统的梯度下降法），也可以一次只喂一个样本（即严格意义上的随机梯度下降法，也称在线梯度下降法，简称SGD），也可以取个折中的方案，即每次喂一部分样本让其完成本轮迭代（即batch梯度下降法）
3.神经网络的loss曲面往往是非凸的，这意味着很可能有多个局部最优点，而且很可能有鞍点。
暂且不说一些很高深的理论如“神经网络的loss曲面中的局部最优点与全局最优点差不太多”

batch的size设置的不能太大也不能太小，因此实际工程中最常用的就是mini-batch，一般size设置为几十或者几百。但是！
改良的异界优化算法Adam和Adagrad，在使用二阶优化算法时，往往要采用大batch
听说GPU对2的幂次的batch可以发挥更佳的性能，因此设置成16、32、64、128...时往往要比设置为整10、整100的倍数时表现更优

2.个人经验分享
超参数batch
batch size以128为分界线，向下(x0.5)和向上(x2)训练后比较测试结果，若向下更好，则再乘以0.5
大batch size限于空间，小batch size苦于时间。

如果样本总数为1000，batch_size为100，则遍历一次需要循环10次，每个batch更新一次权重。每个batch都要执行下面四个步骤：

 

3.每个epoch是指遍历完所有训练集样本每个参数的确定

4.步幅也是一个超参数，在设计CNN架构时，如果希望感知区域的重叠更少，或者希望feature map的空间维度更小，我们可以决定增加步幅