作为逻辑回归的loss函数考虑。最小二乘法是可以从最大似然估计推导出来的,所以它俩的本质应当是一样的。
最小二乘法 思想是 求欧式距离最小值。 即求出一条线,样本距离这条线的和最小。
最大似然符和高斯分布时,和最小二乘法的结果一样。
最大似然是站在概率上考虑的,推导出一个概率函数表示目标函数,它希望这个概率函数 越大越好。
最大似然中心思想,假设拿出来的样本数据有很大的参考性,用这个样本数据反推“导致”这个结果的参数。
举一下最常见的例子,一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球,至此我想知道有多少个黑球。
用最大似然的方式解决: 假设黑球概率是p,因此白球是(1-p)。 L=p^8 * (1-p)^2 求max(L). 先对L求 ln,因为L作为目标函数乘法太多 求导结果复杂,因此先求ln,不破坏单调性。
因此就是求 max( ln ( L ) ) , 由微积分概念,对ln( L )求导 因为ln是单调增函数,当导数为0时即可得到最大值 。推导:
ln`(p^8 * (1-p)^2 )= (8 * ln(p)+ 2 * ln (1-p))` = 8 / p - 2 / ( 1 - p ) = 0 求得 p=0.8
用最大似然解题过程:
(1)每个样本属于某个类别发生概率的乘积L(比如上面的例子,10个有8个黑球2个白球,因此是8个p 2个(1-p) 相乘)
(2)ln( L ) 加ln方法,乘法求导太复杂,不破坏单调性增加ln方法。式子最大值时p的值就是黑球的概率。
(3)求导ln( L ) 求导结果为0时 p的值就是黑球的概率。
应用于逻辑回归ln(L)的推导:
求导:
可以对比和最小二乘法的结果一样。
sigmoid: y = 1 / ( 1 + exp(-z ) ) , z = wx+b
由上式推导出: ln( y / ( 1-y) ) = z = ln ( p( y = 1 | x ) / p( y = 0 | x ) ) , p( y = 0 | x ) = (1 - p( y = 1 | x ) )
推导得:p( y = 1 | x ) = exp(z) / ( 1 + exp(z) ) p( y = 0 | x ) = 1 / ( 1 + exp(z) )
因此总的概率函数是 L = yi * p( y = 1 | x ) + (1 - yi) * p( y = 0 | x ) (很巧妙,y=0/1 都符和)
ln(L)的和的最大值,就是我们的目标;因为ln的图像是横坐标越大纵坐标越大,但是斜率越小,因此对它求导,求导数的最小值就可以。
参考:http://www.cnblogs.com/sparkwen/p/3441197.html?utm_source=tuicool&utm_medium=referral
http://blog.csdn.net/zouxy09/article/details/20319673
https://www.cnblogs.com/monoSLAM/p/5257589.html
https://www.zhihu.com/question/20447622
《机器学习》