机器学习算法评估

在训练机器学习算法时，常会出现代价函数或loss值较高。这时候就需要优化。但通过什么手段优化，就成了一个问题。

优化的方向有以下几种：

A. 使用更多的训练样本。

B. 尝试选用更少的特征。把不关键的特征去掉。

C. 尝试增加一些特征。

D. 尝试把现有的特征中一部分的多项式增加入特征。x1*x1, x2*x2, x1*x2等。

E. 减小正则化参数lambda.

F. 增大正则化参数lambda.

在选择何种优化方法前，需要先评估学习算法。这就有了机器学习诊断法(Machine Learning diagnostic). 以确认是哪里出了何种问题，再确认用什么方法改进。