机器学习-最大似然估计-多项式密度

最新推荐文章于 2022-05-19 22:37:44 发布

qq_39097323

最新推荐文章于 2022-05-19 22:37:44 发布

阅读量399

点赞数 1

文章标签：机器学习统计学人工智能深度学习算法

本文链接：https://blog.csdn.net/qq_39097323/article/details/111242018

版权

多项式密度

假设我们有样本X={ $X^{1}$ ~ $X^{N}$ }，某一个样本 $X^{t}$ 的取值可能性为 $X_{1}^{t}$ ... $X_{K}^{t}$ 之一，即： $p(X^{t})=\prod_{i=1}^{K}p(i)^{X_{i}^{t}}$ ,

我们有限制条件 $\prod_{i=1}^{K}p(i)=1$

该公式可以类比伯努利密度中只有两种结果的情况： $p(X^{^{t}})=p(1)^{X_{1}^{t}}p(2)^{X_{2}^{t}}$ ,两种情况的也可以写成：

$p(X^{})=p^{X}(1-p)^{1-X}$

根据最大似然估计，要使得每个样本都最大可能出现则有：

$l=log\prod_{t=1}^{N}\prod_{i=1}^{K}p(i)^{X_{i}^{t}}=\sum_{t=1}^{N}\sum_{i=1}^{K}X_{i}^{t}logp(i)=X_{1}^{1}logp(1)+X_{2}^{1}logp(2)+...+X_{K}^{1}logp(K)+X_{1}^{2}logp(1)+X_{2}^{2}logp(2)+...+X_{K}^{2}logp(K)+............+X_{1}^{N}+X_{2}^{N}+...+X_{K}^{N}$

根据拉格朗日数乘法,令:

$E=l+m(\prod_{i=1}^{K}p(i)-1)$

$\frac{\partial E}{\partial p(1)}=\frac{X_{1}^{1}}{p(1)}+\frac{X_{1}^{2}}{p(1)}+...+\frac{X_{1}^{N}}{p(1)}+m=0$

$\frac{\partial E}{\partial p(2)}=\frac{X_{1}^{2}}{p(2)}+\frac{X_{2}^{2}}{p(2)}+...+\frac{X_{2}^{N}}{p(2)}+m=0$

....

$\frac{\partial E}{\partial p(K)}=\frac{X_{K}^{1}}{p(K)}+\frac{X_{K}^{2}}{p(K)}+...+\frac{X_{K}^{N}}{p(K)}+m=0$

$\frac{\partial E}{\partial m}=\prod_{i=1}^{K}p(i)-1=0$

解以上方程：

$p(1)=-\frac{1}{m}\sum_{t=1}^{N}X_{1}^{t}$

$p(2)=-\frac{1}{m}\sum_{t=1}^{N}X_{2}^{t}$

.....

$p(K)=-\frac{1}{m}\sum_{t=1}^{N}X_{K}^{t}$

$\sum_{i=1}^{K}p(i)=-\frac{1}{m}(\sum_{t=1}^{N}X_{1}^{t}+\sum_{t=1}^{N}X_{2}^{t}+...+\sum_{t=1}^{N}X_{K}^{t})=1$

$m=-(\sum_{t=1}^{N}X_{1}^{t}+\sum_{t=1}^{N}X_{2}^{t}+...+\sum_{t=1}^{N}X_{K}^{t})=N$ ,因为每个样本的所有可能之和为1，则N个样本所有可能取值之和为N,

解得：

$\hat{p(i)}=\frac{1}{N}\sum_{t=1}^{N}X_{i}^{t}$

qq_39097323

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
机器学习-最大似然估计-多项式密度

多项式密度假设我们有样本X={~}，某一个样本的取值可能性为...之一，即：,我们有限制条件该公式可以类比伯努利密度中只有两种结果的情况：,两种情况的也可以写成：根据最大似然估计，要使得每个样本都最大可能出现则有：根据拉格朗日数乘法,令:....解以上方程：........
复制链接

扫一扫