(1)线性回归的误差函数为什么是平方损失函数
参考:http://blog.csdn.net/saltriver/article/details/57544704
设线性回归的预测函数h(xi),实际值为yi 相应的误差为
所以有:yi =h(xi) + (i = 1,2,3,..., n)
通常认为误差服从参数为的正态分布,即:
我们想要求出参数 使得该分布能够更好地表示 (i = 1,2,3,..., n),这就转化为了由已知样本(独立同分布的)和样本服从的分布,求其参数的问题,利用极大似然估计(使得样本的似然度最大),即极大似然函数为:
对上式取对数,得到对数似然函数为:
针对 ,分别对和求偏导,并令其为0,可得:
以上所求的是针对误差,我们当然希望误差越小越好,所以希望和 越小越好,即
由上式可以看出平方损失函数的形式。
(2)逻辑回归的损失函数为什么为对数损失函数
原理与上述线性回归的情况类似,都是利用了极大似然估计。
对于逻辑回归模型,假设服从伯努利分布(0-1分布)。
同样假设预测函数为:h(xi),实际值为yi
其中,
我们希望当实际值为yi 时,预测函数h(xi)的值越大越好,采用极大似然估计,极大似然函数为:
取对数,得到对数似然函数为:
由上面可知,逻辑回归直接将对数似然函数取负,将最大化 对数似然函数 转化为 为最小化 负的对数似然函数,即得到我们需要的损失函数,所以,逻辑回归模型并没有像线性回归那样求似然函数的极值。