回归问题的评价指标

在机器学习中, 令输入为 $\mathbf{X}=({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n{)}^{\mathrm{T}}\in {\mathcal{R}}^{n\times m}$, 输出 (标签) 为 $\mathbf{Y}=(y_1,y_2,\dots ,y_n{)}^{\mathrm{T}}\in {\mathcal{R}}^n$. 回归器为一个函数 $f:{\mathcal{R}}^m\to \mathcal{R}$. 为了最小化 mean absolute error (MAE), 优化目标可以写为
$$\min \frac{{\sum }_{i=1}^n|y_i-f({\mathbf{x}}_i)|}{n}\text{\hspace{1em}(1)}$$
其实这里是否除以 $n$ 都没有关系, 反正对不同回归器都是一样的.
为了最小化 root mean squared error (RMSE), 优化目标可以写为
$$\min \sqrt{\frac{{\sum }_{i=1}^n(y_i-f({\mathbf{x}}_i){)}^2}{n}}\text{\hspace{1em}(2)}$$
这里根号要不要也没关系, 对不同回归器也是一样的.
注: 如何增加正则项, 避免过拟合, 在此不作讨论.

如果我们去掉累加操作、除以 $n$ 操作和取根号操作, 上面两式所使用的函数 (称为 loss function) 可改写为
$$f_1(y_i,f({\mathbf{x}}_i))=|y_i-f({\mathbf{x}}_i)|\text{\hspace{1em}(3)}$$
和
$$f_2(y_i,f({\mathbf{x}}_i))=(y_i-f({\mathbf{x}}_i){)}^2\text{\hspace{1em}(4)}$$
进一步, 它们使用的函数分别为
$$f_3(v)=|v|\text{\hspace{1em}(5)}$$
和
$$f_4(v)=v^2\text{\hspace{1em}(5)}$$

使用更一般的函数
$$f_5(v)=|v{|}^p\text{\hspace{1em}(6)}$$
当 $p=1$ 时, 它退化为 $f_3$, 即对应于 1 范数.
当 $p=2$ 时, 它退化为 $f_4$, 即对应于 2 范数.
当 $p=0$ 时, 令
$$v^0=\{\begin{array}{ll}0& \text{if }v=0\\ 1& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$
它退化为数非 0 元素的个数, 即为 0 范数.

物理意义: $p$ 值越大, 少数大的 $v$ 值 (可认为对应于 outlier) 对总体性能影响越大; $p$ 值为 $0$ 的时候, 只要是没完全准确预测, 效果都是一样的, outlier影响降到最低.
cost 的观点: 在这里 cost 和 loss 是一致的. loss function $f$ 也可以看作是 cost function.

---

问题:

1. $p$ 取分数的情况是否常见? 如 $0.5$, $1.5$.
2. 能否设计其它的 (损失) 函数, 如
   $$f_6(v)=\arctan |v|\text{\hspace{1em}(6)}$$
   的值域为 $[0,1)$.

---

欢迎留言!
感谢 韭菜教授 的留言。