机器学习算法评价指标

线性回归算法的评测

衡量标准

$$\sum _{i=1}^m(y_{test}^{(i)}-\hat{y}{}_{test}^{(i)}{)}^2$$

方差与m的大小有关，例如第一个算法测试100个数据，累计误差为1000，第二个算法测试10000个数据，累计误差为99999， 如果我们仅以这个式子求出的累计误差大小衡量算法的优劣，显然是不合理的，所以我们需要让这个式子与测试数据的数量无关，所以引入均方误差MSE(Mean Squared Error)

$$\frac{1}{m}\cdot \sum _{i=1}^m(y_{test}^{(i)}-\hat{y}{}_{test}^{(i)}{)}^2$$

但是我们对 y 进行了平方，导致量纲与实际不一致，因此又引入了均方根误差RMSE(Root Mean Squared Error)

$$\sqrt{\frac{1}{m}\cdot \sum _{i=1}^m(y_{test}^{(i)}-\hat{y}{}_{test}^{(i)}{)}^2}=\sqrt{MS{E}_{test}}$$

平均绝对误差MAE(Mean Absolute Error)

$$\frac{1}{m}\cdot \sum _{i=1}^m|y_{test}^{(i)}-\hat{y}{}_{test}|$$

我们的目标函数不会定义为绝对值的形式，因为它不是处处可导，但是它可以用来评价我们的线性回归算法，所以评价一个算法的标准可以与目标函数不同。

R 方

$$\begin{array}{c}\text{ R Squared }\\ \begin{array}{rl}{R}^2=1-\frac{{\sum }_i{\left({\hat{y}}^{(i)}-y^{(i)}\right)}^2}{{\sum }_i^i{\left(\bar{y}-y^{(i)}\right)}^2}& =1-\frac{\left({\sum }_{i=1}^{i_m}{\left({\hat{y}}^{(i)}-y^{(i)}\right)}^2\right)/m}{\left({\sum }_{i=1}^m{\left(y^{(i)}-\bar{y}\right)}^2\right)/m}\\ & =1-\frac{MSE(\hat{y},y)}{\mathrm{Var}(y)}\end{array}\end{array}$$

首先抛出问题，当我们的算法用于预测不同的线性回归问题时，其评价结果可能非常不同，例如预测房价的时候误差为几万，预测考试成绩的时候误差是几分，这样比较几万和几分就没有可比性，这就是RMSE和 RAE的局限性，因此引出 分类的准确度 ：1 最好， 0 最差

$$\begin{array}{r}{R}^2=1-\frac{S{S}_{\text{residal}}}{S{S}_{\text{total}}}\\ R^2=1-\frac{{\sum }_i({\hat{y}}^{(i)}{-y^{(i)})}^2}{{\sum }_i{\left(\bar{y}-y^{(i)}\right)}^2}\end{array}$$

分子是使用我们训练的模型的方差，分母是用baseline model的方差