机器学习-最大似然估计

最新推荐文章于 2024-04-18 11:00:40 发布

qq_39097323

最新推荐文章于 2024-04-18 11:00:40 发布

阅读量290

点赞数

文章标签：机器学习概率论

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_39097323/article/details/111187549

版权

最大似然估计

假设我们有一组独立同分布的样本X={ $X^1$ ~ $X^n{^{}}$ }， $X^{i}$ 是从某个已知的概率分布簇 $p(x|\theta )$ 中取出的数据,其中 $\theta$ 是未知的参数，我们要通过给定的样本X来估计 $\theta$ 的取值，我们的任务就是找到一个合适的 $\theta$ ，使得 $p(X^{1}|\theta )$ ~ $p(X^{^{n}}|\theta )$ 这些样本出现的概率最大，每一个样本出现的概率最大，那么就要使 $\prod p(X^{i}|\theta )$ 达到最大，为了便于计算对该式求对数得 $l(\theta |X)=log\prod p(X^{i}|\theta )=\sum logp(X^{i}|\theta )$ , $l(\theta |X)$ 表示在已经知道X样本的情况下估计 $\theta$ 的值。一般对 $\theta$ 求偏导，令偏导为0，求出使得改式最大的 $\theta$ 值。

伯努利密度

伯努利分布两种结果要么发生要么不发生,如下：

$p(x)=p^{x}(1-p)^{1-x}$

当x=1时p(x)=p,当x=0时p(x)=1-p，假设我们有样本X={ $X^{1}$ ~ $X^{n}$ }，根据最大似然估计来估算p的值：

$l(p|X)=\sum (X^{i}log(p)+(1-X^{i})log(1-p))$

此公式对p求导数并导数为0得：

$\frac{\mathrm{d} l}{\mathrm{d} p}=\frac{1}{p}\sum X^{i}-\frac{1}{1-p}\sum (1-X^{i})=0$

求得 $\hat{p}=\frac{1}{n}\sum X^{i}$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
机器学习-最大似然估计

最大似然估计假设我们有一组独立同分布的样本X={~}，是从某个已知的概率分布簇中取出的数据,其中是未知的参数，我们要通过给定的样本X来估计的取值，我们的任务就是找到一个合适的，使得~这些样本出现的概率最大，每一个样本出现的概率最大，那么就要使达到最大，为了便于计算对该式求对数得,表示在已经知道X样本的情况下估计的值。一般对求偏导，令偏导为0，求出使得改式最大的值。伯努利密度伯努利分布两种结果要么发生要么不发生,如下：当x=1时p(x)=p,当x=0时p(x)=1-p，假设我们有样本X={
复制链接

扫一扫

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。