本文介绍了伯努利模型的极大似然估计和贝叶斯估计，阐述了统计学习方法的三要素——模型、策略和算法。在伯努利模型中，极大似然估计用于估算观测到1的概率，而贝叶斯估计则涉及先验估计、似然函数和后验概率。经验风险最小化策略与对数损失函数结合，对应于结构化风险最小化，这在算法求解中得到体现。
1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。
回忆知识点：
统计学习方法三要素为：模型+策略+算法
模型：在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。
策略：统计学习要考虑按照什么样的准则选择最优模型；损失函数包括0-1损失，平方损失，绝对损失，对数损失；风险函数即期望损失为损失函数的期望，但由于不知道联合分布函数，无法直接得到，经验风险损失则是模型关于训练样本的平均损失，可以用来估计风险函数，包括经验风险以及结构化风险，结构化风险加入了一个惩罚项，当模型越简单，越小 。
经验风险损失:
结构化风险 ：
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
