最大似然

作为逻辑回归的loss函数考虑。最小二乘法是可以从最大似然估计推导出来的，所以它俩的本质应当是一样的。

最小二乘法 思想是 求欧式距离最小值。 即求出一条线，样本距离这条线的和最小。

最大似然符和高斯分布时，和最小二乘法的结果一样。

最大似然是站在概率上考虑的，推导出一个概率函数表示目标函数，它希望这个概率函数 越大越好。

最大似然中心思想，假设拿出来的样本数据有很大的参考性，用这个样本数据反推“导致”这个结果的参数。

举一下最常见的例子，一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，至此我想知道有多少个黑球。

用最大似然的方式解决： 假设黑球概率是p，因此白球是（1-p）。  L=p^8 * (1-p)^2  求max(L).  先对L求 ln，因为L作为目标函数乘法太多 求导结果复杂，因此先求ln，不破坏单调性。

                                         因此就是求 max( ln ( L ) )  , 由微积分概念，对ln( L )求导 因为ln是单调增函数，当导数为0时即可得到最大值 。推导：

                                         ln`（p^8 * (1-p)^2 ）= （8 * ln（p）+ 2 * ln (1-p)）` = 8 / p - 2 / ( 1 - p ) = 0 求得 p=0.8

用最大似然解题过程：

（1）每个样本属于某个类别发生概率的乘积L（比如上面的例子，10个有8个黑球2个白球，因此是8个p 2个(1-p) 相乘）

（2）ln( L )    加ln方法，乘法求导太复杂，不破坏单调性增加ln方法。式子最大值时p的值就是黑球的概率。

（3）求导ln( L )    求导结果为0时 p的值就是黑球的概率。

应用于逻辑回归ln(L)的推导：

求导：

可以对比和最小二乘法的结果一样。

sigmoid： y = 1 / ( 1 + exp(-z ) ) , z = wx+b

由上式推导出： ln( y / ( 1-y) )  = z = ln ( p( y = 1 | x ) / p( y = 0 | x ) ) ,   p( y = 0 | x )  = (1 - p( y = 1 | x ) )

推导得：p( y = 1 | x )  = exp(z) / ( 1 + exp(z) )                  p( y = 0 | x ) = 1 / ( 1 + exp(z) ) 

因此总的概率函数是 L =  yi * p( y = 1 | x )  + (1 - yi) * p( y = 0 | x )       (很巧妙，y=0/1 都符和)

ln(L)的和的最大值，就是我们的目标；因为ln的图像是横坐标越大纵坐标越大，但是斜率越小，因此对它求导，求导数的最小值就可以。

参考：http://www.cnblogs.com/sparkwen/p/3441197.html?utm_source=tuicool&utm_medium=referral

http://blog.csdn.net/zouxy09/article/details/20319673

https://www.cnblogs.com/monoSLAM/p/5257589.html

https://www.zhihu.com/question/20447622

《机器学习》