常用的超参数

一.概念

    通俗的理解是神经网络中的参数指的是那些通过训练可以进行调节的参数.比如权重和偏置量.超参数指的是在训练之前需要手工设定的,不断试错调整的参数.

二.常用的超参数

    1.learning rate:学习率指的是在网络训练过程中,权重每次调整的幅度大小,其决定了权值更新的速度.学习率设置过小,会导致网络的收敛速度变慢.过大可能导致收敛结果在最优值左右来回跳动.在训练过程中一般都采用指数衰减的的方式调节学习率,即随着训练次数的增大,学习率不断降低.
    2.learning rate decay:上面提到学习率随着训练次数的增加会降低,训练次数每增加一次,学习率降低的幅度大小由learning rate decay确定.
    3.weight decay:权重衰减,在网络的训练过程中,会通过求损失函数的最小值来不断优化网络权重,但直接优化损失函数经常会出现过拟合的现象.为了避免过拟合,会给损失函数添加一个惩罚项(正则化项),常用的惩罚项是所有权重的平方和乘以一个衰减常量(这个衰减常量就是weight decay),用来惩罚大的权值.所以我们平时优化的函数叫做目标函数,(目标函数=损失函数+惩罚项).
    4.momentum:动量,在训练过程中,人为给定一个动量可以加快梯度的收敛过程.
    5.迭代次数:迭代次数指的是训练集中的数据在网络中进行训练的次数.当测试错误率和训练错误率相差较小是,可以人为当前的迭代次数是合理的.
    6.权重初始化:在网络训练之间,要先给权重一个随机的初始值,这里有两种方法.第一种是采用均匀分布的方法初始化各层网络的权重,自己从头开始训练网络模型.第二种是采用该模型之前已经训练好的权重作为训练的初始值,这样做的原因在于,已经在该模型上训练过的权重已包含了大量的有用的卷积过滤器,与其从零开始训练所有权重,不如使用已经训练好的参数作为训练的起点.这样做不仅可以节约大量的训练时间,而且有助于分类器性能的提高.
    7.Dropout:作为一种常用的正则化方式,在全连接环节加入Dropout可以减弱深层神经网络的过拟合效应.该方法会按照所设定的参数,在每次的训练过程中随机地不激活一定数量的神经元.该参数默认设置为0.5.

三.自动超参数优化算法:

(1)网格搜索
(2)随机搜索

这是目前整理的一部分,若有错误,还望指正,以后会继续完善更新.