分类问题的误差函数

二分类问题

从特征 features 到目标 target 的预测，由于每个特征对结果的影响程度不同，所以给每个特征 feature 配备一个权重系数 weight，为了修正整体偏差，可以给最终结果配备一个偏差系数 bias，于是有 $wx+b$。对于分类问题，我们将上述结果再经过一个 sigmoid 函数，于是有 $\sigma (wx+b)$，这便是我们对于分类问题的预测结果，表示 target 为某个分类的概率，这里出现了概率一词，于是我们可以考虑使用概率论的一些工具和方法。假设 $\hat{y}=\sigma (wx+b)$表示预测为正的概率，那么预测为反的概率为 $1-\hat{y}$，如下表所示：

事件	概率
正	$\hat{y}$
反	$1-\hat{y}$

假设实际结果为：正、正、反、正、反、反、正，因为是独立事件，所以他们同时发生的概率为:
$P=\hat{y}\ast \hat{y}\ast (1-\hat{y})\ast \hat{y}\ast (1-\hat{y})\ast (1-\hat{y})\ast \hat{y}$

根据最大似然估计的目标¹，我们需要最大化 $P$。由于乘法优化起来比较麻烦，所以我们可以转化为等效的加法运算，我们取对数后得到：
$$\ln (P)=\ln (\hat{y})+\ln (\hat{y})+\ln (1-\hat{y})+\ln (\hat{y})+\ln (1-\hat{y})+\ln (1-\hat{y})+\ln (\hat{y})$$
由于 $0<\hat{y}<1$，所以 $-\infty <\ln (\hat{y})<0$，不利于计算求和，于是我们取 $\ln (\hat{y})$ 的相反数：
$$Loss=-\ln (P)=-\ln (\hat{y})-\ln (\hat{y})-\ln (1-\hat{y})-\ln (\hat{y})-\ln (1-\hat{y})-\ln (1-\hat{y})-\ln (\hat{y})$$
现在的目标变成最小化 $Loss$

---

1. https://blog.csdn.net/qq_39355550/article/details/81809467 ↩︎