Hinton的NNML课的学习笔记

如何在神经网络中加入先验知识：就是通过设计网络结构来加入

• 网络的连接性
• 权重进行约束
• 激活函数的选择
  也可以通过先验，来加入一些人工造的数据Hofman 93年的炼钢炉模型

Mcnemar检测

Dropout用来阻止同一层网络之间的合作作用，这些合作作用在拟合的时候是非常有效的，但是会有可能过拟合，如果用来测试的话，就会发现效果不是那么好

slashing across a ravine山涧跳，学习速率选太大的时候，会发生的情况用
min_batch算法来做的时候，要保证每个类别的样本尽量均衡
共轭梯度法，是用来优化，full batch梯度的计算过程的。

动态调整学习速率的方法：
一开始初始设置一个值，然后当error持续波动或者持续上升的时候，调低学习速率，当其持续下降且下降比较慢的时候，调高学习速率
调低学习速率的两个时机：

• 如果误差率不再下降的话，判断误差不在下降用独立的valid数据集
• 当一轮批梯度下降进行结束的时候

权值的初始化要random，因为这是为了打破 symmetry，如果都初始化为同一个值的化，如果输入向量再一样，会导致后续的结果都相同，不能够学习到不同的特征。
四种加快SGD算法的方法：

• 动量法momentum
• 对于每个参数采用独立的学习速率
• rms prop 【相当于批梯度版的R prop
• 利用曲线本身的信息

使用动量法的好处：

• 跟之前相同部分得到加速
• 扰动部分得到阻尼
• 允许我们使用更大的学习速率

RNN难以训练的原因：
当有许多层的的神经网络的时候，会有梯度消失或者梯度爆炸的问题
因为反向传播的过程中，越靠前的layer，积累了之后所有层的乘积，所以这是一个非常不稳定的状态，尤其是用sigmoid函数的倒数是在(0,0.25)之间的数，所以会越乘越小，如果把权值初始为非常大的数，又会导致越乘越大。
有效训练RNN的方法：

• LSTM
• Hessian Free Optimization，用更好优化函数