土豆酱的个人笔记——最大似然估计与对数几率回归

最大似然估计

最大似然估计是个什么东西？千万别被概率论公式的可怕名字吓到。其实最大似然估计就是拟合，对m次试验结果的用一个函数拟合，找到最贴合的函数的参数组合。

我们先从一个简单的例子来理解，有若干白球和黑球，随机有放回抽取10次，抽到6个白球，问白球的占比最有可能多大？
（相信各位看官马上就会想到3/5）

没错！

但我们就要搞复杂一点：

得到这样的实验结果的概率用一个关于白球占比（设为a）的函数来拟合，函数设为：
M（a）=a⁶x(1-a)⁴
要让它越大越好，于是M（a）^’（啊哦，不好做啰）
所以一般最大似然估计还得取个对数

接下来就进入正题啦~

对数几率回归

考虑一个二分类问题，其输出标记为y={0,1}
由于临界值x0不清楚，故采用了对率函数和线性函数结合的方式把y规范到0~1，临界值规范到0

下面是我的推导过程：
只需要再注意一个点：

这里巧妙地把每次试验的y=0或1的概率表示出来了

接下来上图上图：