Introduce of ML strategy
目的:选择最合适的策略来调节网络
orthogonalization
使得优化方法尽量不相互干扰
使损失函数在训练集上匹配
更大的神经网络或者选择更好的优化方法
使损失函数在验证集上匹配
更大的训练集或者正则化
使损失函数在测试集上匹配
更大的验证集
使损失函数在真实情况下匹配
更大的验证集或者更改损失函数
单一数据作为评估标准
将多个评估标准进行合理的整合,生成一个单独的评估标准作为整个网络的标准
评估标准只能在训练集或者是在验证集或者是在测试集进行评估,绝对不能同时使用三个数据集合进行评估
训练集,验证集和测试集的划分
在神经网络的训练过程中,训练集用来训练多种模型,验证集用来评估,然后迭代训练来改善在验证集上的表现,最后在测试集上进行测试
注意:
- 验证集和测试集需要能反映在未来希望得到数据的分布
- 在训练集、验证集和测试集的划分时要保证随机性,不能加入人为干扰
在数据量较少时,训练集、验证集、测试集的比例为6:2:2;在大数据时,训练集、验证集、测试集的比例为98:1:1
评估标准的确定
根据实际需求,对评估标准进行更改,可以更好的满足要求。
与人类的准确度进行比较
由于人类在很多学习任务中的表现性能很好,因此当深度学习任务比人类表现性能差时,可以采取以下措施:
- 依靠人的识别来获取更多的标记数据
- 根据人的判断方法改进算法
- 更好的分析偏差和方差
可避免偏差
贝叶斯误差:理论上可以达到的最优误差
很多识别任务,可以认为人类的识别准确度逼近贝叶斯误差。我们定义训练误差与人类识别误差之间的差值为可避免偏差,训练误差与验证误差之间的差值称为方差。通过比较可避免偏差和方差来决定对偏差还是方差进行优化
目前机器识别超过人类识别的项目
- 在线广告
- 产品推荐
- 物流
- 贷款审批
优化模型
若可避免偏差很大:
- 那么训练更大的模型
- 使用更长或更好的优化算法
- 新的网络或者超参数调试
若方差很大: - 更多的数据
- 正则化
- 新的网络或者超参数调试