优化函数、学习速率、反向传播算法

优化函数，学习速率与反向传播算法

#关于激活函数的选择：
#（1.1）想预测一个连续的值， 输出层就不用激活函数
#（1.2）想预测一个是/否（也就是二分类的问题）， 对输出层进行sigmoid运算，得到二分类输出
#（1.3）想进行多分类的预测的话，对输出层进行softmax运算,从而输出在多个分类上的概率分布

#梯度下降算法：
#多层感知器的优化算法是梯度下降算法
#梯度下降法是一种致力于找到函数极值点的算法。
#梯度算法的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导
#梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。

#学习速率：
#梯度就是表明损失函数相对参数的变化率
#对梯度进行缩放的参数被称为——学习速率(learning rate)
#学习速率是超参数，所谓超参数就是写代码是自己进行人为规定的（手工可配置）
#需要为它指定正确的值。
#如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代;
#如果太大，则算法可能数极小值点时可能需要许多轮迭代;如果太大，则算法可能到极小值点。

#在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是合适的。

    #合适的学习速率，损失函数随时间下降，直到一个底部
    # 不合适的学习速率，损失函数可能会发生震荡
                #在调整学习速率时，既需要使其足够小，保证不至于发生超调；
                # 也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习

#反向传播算法：
#反向传播算法是一种高效计算数据流图中梯度的技术，每一层导数都是"后一层的导数与前一层输出之积"
#链式法则很奇妙，误差反向传播算法利用的正是这一特点

#常用的优化函数1：

SGD:随机梯度下降优化器

    # 随机梯度下降优化器SGD和min-batch是同一个意思，抽取随机梯度下降优化器SGD和min-batch是同一个意思，抽取
    # m个小批量（独立同分布）样本，通过计算他们平梯度均值。

#常用的优化函数2：RMSprop
#经验上，RMSProp被证明有效且实用的深度学习网络优化算法。经常用于处理序列问题上，如:文本分类，序列卷积，序列预测
#RMSProp增加了一个衰减系数来控制历史信息的获取多少,RMSProp会对学习率进行衰减。

#常用的优化函数3：Adam

Adam算法可以看做是修正后的Momentum+RMSProp算法

Adam通常被认为对超参数的选择相当鲁棒（现状性，受其他影响较小/不易受干扰）

#学习率建议为0.001
#Adam是一种可以替代“传统随机梯度下降过程”的“一阶优化算法”，他能基于训练数据迭代地更新“神经网络权重”
#Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。