吴恩达深度学习总结（8）

目的：选择最合适的策略来调节网络

orthogonalization

使得优化方法尽量不相互干扰

使损失函数在训练集上匹配

更大的神经网络或者选择更好的优化方法

使损失函数在验证集上匹配

更大的训练集或者正则化

使损失函数在测试集上匹配

更大的验证集

使损失函数在真实情况下匹配

更大的验证集或者更改损失函数

单一数据作为评估标准

将多个评估标准进行合理的整合，生成一个单独的评估标准作为整个网络的标准
评估标准只能在训练集或者是在验证集或者是在测试集进行评估，绝对不能同时使用三个数据集合进行评估

训练集，验证集和测试集的划分

在神经网络的训练过程中，训练集用来训练多种模型，验证集用来评估，然后迭代训练来改善在验证集上的表现，最后在测试集上进行测试
注意：

1. 验证集和测试集需要能反映在未来希望得到数据的分布
2. 在训练集、验证集和测试集的划分时要保证随机性，不能加入人为干扰
   在数据量较少时，训练集、验证集、测试集的比例为6:2:2；在大数据时，训练集、验证集、测试集的比例为98:1:1

评估标准的确定

根据实际需求，对评估标准进行更改，可以更好的满足要求。

与人类的准确度进行比较

由于人类在很多学习任务中的表现性能很好，因此当深度学习任务比人类表现性能差时，可以采取以下措施：

1. 依靠人的识别来获取更多的标记数据
2. 根据人的判断方法改进算法
3. 更好的分析偏差和方差

可避免偏差

贝叶斯误差：理论上可以达到的最优误差
很多识别任务，可以认为人类的识别准确度逼近贝叶斯误差。我们定义训练误差与人类识别误差之间的差值为可避免偏差，训练误差与验证误差之间的差值称为方差。通过比较可避免偏差和方差来决定对偏差还是方差进行优化

目前机器识别超过人类识别的项目

1. 在线广告
2. 产品推荐
3. 物流
4. 贷款审批

优化模型

若可避免偏差很大：

1. 那么训练更大的模型
2. 使用更长或更好的优化算法
3. 新的网络或者超参数调试
   若方差很大：
4. 更多的数据
5. 正则化
6. 新的网络或者超参数调试