Task1
伯努利模型
P(X=1)=p
P(X=0)=1−p
三要素
(1)极大似然估计
模型:伯努利模型
策略:经验风险最小化。极大似然估计,等价于当模型是条件概率分布、损失函数是对数损失函数时的经验风险最小化。
算法:极大化似然:P(X|p)pargmaxL(p∣X)=pargmaxP(X∣p)
(2)贝叶斯估计
模型:伯努利模型
策略:结构风险最小化。贝叶斯估计中的最大后验概率估计,等价于当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时的结构风险最小化。
算法:最大化后验概率:∫P(X∣p)π(p)dpP(X∣p)π(p)
对于伯努利模型的参数pp,根据贝叶斯估计,该参数也是随机变量。
假设pp的先验分布\pi§π(p)为均匀分布,则最大后验概率估计等价于极大似然估计。
一般在贝叶斯估计中,如果后验分布与先验分布属于同一分布簇(共轭分布),则称此先验分布为似然函数的共轭先验。
选取共轭先验有如下好处,例如:
(1)符合直观,先验分布和后验分布应该是相同形式的;
(2)可以给出后验分布的解析形式;
(3)可以形成一个先验链,即现在的后验分布可以作为下一次计算的先验分布,如果形式相同,就可以形成一个链条。
时间原因,待补。。。