极大似然估计

最新推荐文章于 2022-11-02 22:10:52 发布

LearnerzzZ

最新推荐文章于 2022-11-02 22:10:52 发布

阅读量230

点赞数 2

分类专栏：算法机器学习人工智能文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/LearnerzzZ/article/details/118857043

版权

算法同时被 3 个专栏收录

11 篇文章 0 订阅

订阅专栏

9 篇文章 0 订阅

订阅专栏

7 篇文章 0 订阅

订阅专栏

1.背景及定义

概率模型的训练过程就是参数估计，确定好了参数也就训练好了模型。

统计学对于参数估计主要分成两个部分，频率主义学派和贝叶斯学派，其中频率主义学派认为参数是客观固定的未知常量，他们主要通过优化似然函数等准则来确定参数量；而贝叶斯学派则认为参数是随机变量，本身具有分布，他们假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布。

极大似然估计是频率主义学派的内容，它的目的就是估计出频率主义学派中认定的未知常量。

极大似然估计的主要思想是利用已知的样本来求出最大概率出现这种情况的参数，即根据数据采样来估计概率分布参数。

2.使用前提

样本量充足
样本之间独立同分布
训练样本分布能够体现样本真实分布

3.运用

记样本集： $D=\left \{ x_{1},x_{2},...,x_{N} \right \}$ ,样本间独立同分布,令数据集 $D_{c}$ 表示训练集中第类样本组成的集合。

那么 $\theta$ 对于数据集 $D_{c}$ 的似然函数（likelihood function） $l(\theta )$ 为：

$l(\theta ) = P(D_{c}|\theta) = \prod _{x\in D_{c} } P(x|\theta)$

而极大似然估计就是在 $\theta$ 的所有可能取值中，找到一个能使数据出现的“可能性”最大的情况。

一般连乘操作容易造成下溢，通常使用对输入似然（log-likelihood）：

$\ln l(\theta ) = \ln P(D_{c}|\theta) =\ln \prod _{x\in D_{c} } P(x|\theta) = \sum _{x\in D_{c} }\ln P(x|\theta)$

此时参数 $\theta$ 的极大似然估计 $\hat{\theta}$ 为：

$\hat{\theta } = \mathop {\arg \max}_{\theta }\ln l(\theta )$

4.求解 $\hat{\theta}$ 步骤

写出对数似然函数
求导（若不连续，则从极大似然估计的定义出发，寻求 $l(\theta )$ 的最大值）
得到 $\hat{\theta}$

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
极大似然估计

1.背景及定义概率模型的训练过程就是参数估计，确定好了参数也就训练好了模型。统计学对于参数估计主要分成两个部分，频率主义学派和贝叶斯学派，其中频率主义学派认为参数是客观固定的未知常量，他们主要通过优化似然函数等准则来确定参数量；而贝叶斯学派则认为参数是随机变量，本身具有分布，他们假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布。极大似然估计是频率主义学派的内容，它的目的就是估计出频率主义学派中认定的未知常量。极大似然估计的主要思想是利用已知的样本来求出最大概率出现这种情况的
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。