吴恩达系列实操第一章，精简笔记

偏差和方差

在我理解的范畴内，（假设数据的可辨识度很高）偏差高自然指的是数据的测试集和训练集的数据的误差都很高，导致偏差过高。而方差高则是指的是训练集和测试集的数据误差差距很大，或者理解为训练集精度很高而测试集训练的精度就很低造成方差过高。

解决方案

偏差过高的话就是数据的低拟合度的问题就可以采用不断地进行网络模型的筛选与训练以及对超参的训练从而得到一个比较合适的网络模型。
方差过高的话就是数据的过拟合度的问题就可以有几种不同的解决方法，第一种就是正则化处理，减少了网络模型中神经元的权重，降低了模型的复杂度；第二种就是增大数据数量，而这一种总是由于无法获得大量数据或者说数据获得的高成本性是的数据无法获得。

正则化

L2正则化，采用的给cost函数增加一个正则化的函数，就是L2函数，通过处理L2函数从而使得cost函数值增大，反过来减少影响神经元参数的权重，从而实现正则化，使得过拟合度的问题得到减少。
L2平方则是对向量中的每个元素进行求平方和，并引入了正则化参数进行正则化的处理。下面就是正则化的函数

dropout 正则化

设置deep-prob控制每一层神经单元的个数，从而实现了模型复杂度降低，这和L2正则化比较类似，但是dropout正则化可以在不同的层设置不同的deep-prob来控制每一层神经元的个数（暂时这么理解的），某些层的deep-prob的大小可以设置从而减少过拟合度

其他的正则化处理

data augmenttation

水平翻转或者裁剪翻转从而得到很多假数据，而花费几乎为0，但是经过处理后的数据应保持原特征（猫还是猫）
还可以进行强变形处理，扭曲图形等

Early stopping

在神经网络训练较好的时候进行提早的结束（在中间提早结束）
机器学习的其中一步是选择一个算法来优化cost函数，例如梯度下降等等，采用上述方法进行过拟合处理。预防过拟合还有正交化处理（后面讲）
early stopping解决不了上述两个问题，但不用调整超参入的值
大量的数据可以使用early stopping可以得出相似的结果只要不在乎时间的问题

归一化输入

用数据减去他的平均值之后除以方差，从而对训练集和测试集都做这样的处理，最终的结果是使得cost 函数可以成为一个凸的函数图形，从而可以更好的得到结果。尤其是在向量的特征值相差较大的时候，这时候结果会更加的明显。

梯度消失和梯度爆炸

在训练网络模型的过程中可能出现梯度变化非常大或者非常小的情况，也就是梯度爆炸或者消失，这会导致训练的难度上升，这时需要对特征的初始化权重进行修改。
梯度爆炸：w>E
梯度消失：w<E

梯度检测

双边求近似值比单边误差要小得多，而通过上面的式子就能判断出梯度预测是否准确。
其中的θ表示的是权重参数w和偏置权重参数b形成的一维向量

梯度检测要点

只有调试的时候使用，完成后就要停止；如果误差过大就要及时的调试bug；不要忘记了正则化之后的计算也要带着；dropout不能使用梯度检测；随机初始化的时候使用梯度检测，训练了一段时间之后在进行梯度检测