机器学习之Logistic回归总结笔记

1.极大似然估计值：

极大似然原理其实最简单的理解就是：样本所展现的状态便是所有可能状态中出现概率最大的状态。

 

为了方便大家更好的理解这一原理，这里举一个理解型的例子。

现在有一个黑箱子里面有标有1或2的球共100个，现在从中有放回的抽取10个球，结果为{1,2,2,2,1,2,1,1,2,2}，估计标有1的球在黑箱子里面有多少个。

我们不妨把标有1的球设为θ个，那么抽到1的概率P(x=1)=θ/100，这里简单记作p，则产生实验结果{1,2,2,2,1,2,1,1,2,2}的概率为 P = (p^4)*((1-p)^6),这里的待估参数为θ，但是为了方便不妨把待估参数看做p（p=θ/100）。那么极大似然估计法的目标就是调整p使得总概率P最大！换句话说，P是一个关于p的函数，不妨记作P(p)。

为了后续计算，对P取对数。

为了使得l(p)最大，那么求导可知

尅算出p=0.4，即待估参数θ的极大似然估计值为40个。

https://blog.csdn.net/z_x_1996/article/details/70176819

具体数据求导：

https://blog.csdn.net/ligang_csdn/article/details/53838743