正交化(Orthogonalization),通过一系列调整来达到预期效果。为了让监督式的学习系统表现好,需要通过正交化达到以下四个目标:
第一,保证在训练集上表现的足够好; 训练更大规模的神经网络,或选用更好的优化算法(如Adam优化算法)
第二,保证在开发集上表现的足够好; 正则化,或收集更多的训练数据
第三,保证在测试集上表现的足够好; 收集更多的开发数据
第四,在实际的应用中表现的足够好; 改变开发集(分布不对)或是改变成本函数(指标有误)