极大似然估计理解: 参考
求解P(X,m)m表示模型参数,简单来说就是模型已知,参数未知。解释:对于未知的一个数据分布(比方说一个班级男生的身高分布),我们想要求得这个数据分布,我们应该怎么做?首先,这个假设很简单,但是实际场景又很多,各种场景的分布异常复杂,所以我们应该假设身高分布服从一个简单的分布,不如假设其服从高斯分布,我们期望通过极大似然估计来求得分布的参数,那么我们的问题现在转换为了如何求得这个分布的参数,使得出现本班男生这种身高的概率最大。很自然的想到就是求导,求模型关于参数的导数,这个就是极大似然估计。
现在做一道题,来自京东面试题:给定一个二项分布,用极大似然的方法推导出该分布的参数。
首先要明白什么是二项分布,简单来说就是事件发生只有2中情况,2中情况概率和为1.
ok,现在给出一个二项分布,比如说:1,0,1,1,1,0,0,1,0,0,求这个分布的参数。
方法:设为1的概率为x,那么为0的概率就为1-x,故问题变为求解f(x)=x(1-x)xxx(1-x)(1-x)x(1-x)(1-x)
对fx求导就可得到参数值,注意这里的模型参数就是概率值。
最大后验:
求解P(X|m),极大似然假设模型模型是一定的,参数也是一定的,只不过我们不知道模型参数,我们的做法就是求得在这一分布下的模型参数。而最大后验认为模型参数服从一定的分布,求解方法就是通过贝叶斯法则