参数估计-最大似然估计和贝叶斯参数估计

最新推荐文章于 2021-11-14 19:14:30 发布

于建民

最新推荐文章于 2021-11-14 19:14:30 发布

阅读量6.8k

点赞数 1

分类专栏：技术博客文章标签：机器学习统计学参数估计模式识别

本文链接：https://blog.csdn.net/yujianmin1990/article/details/47762811

版权

本文探讨参数估计在机器学习中的应用，重点介绍最大似然估计和贝叶斯估计。最大似然估计寻找使样本集出现概率最大的参数；贝叶斯估计视参数为随机变量，通过后验概率进行估计。两者比较，最大似然估计参数固定，贝叶斯估计参数具有随机性，利用样本信息不断修正估计。

摘要由CSDN通过智能技术生成

为什么要进行参数估计

　　参数估计是统计学中的经典问题，常用的方法是最大似然估计和贝叶斯估计。为什么机器学习中，也会用到参数估计呢？我们利用训练样本来估计先验概率和条件概率密度，并以此设计分类器。当假设数据符合某种分布时，其参数均是未知的，此时分类模型是包含未知参数的概率模型，因此要对其进行参数估计。

最大似然估计

　　最大似然估计的思想：找到一组参数，使得当前样本集出现的可能性最大。
　　基本步骤：
　　1. 假设 $p(x|w_{j})$ 服从某种分布，得到其含有未知参数的概率表达。
　　2. 根据样本是独立抽取的，得到总样本集的似然函数：
　　

P(D|θ)=∑ni=1p(xi|θ) $P(D|\theta)= \sum_{i=1}^{n}p(x_{i}|\theta)$
　　3. 化积为和，取

ln $\ln$ 得到

L(θ)=∑ni=1ln(p(xi|θ)) $L(\theta) = \sum_{i=1}^{n}\ln(p(x_{i}|\theta))$
　　4. 对未知参数分别求导，令其=0。求解参数极值点。
　　5. 验证所得的极值点是否是最值点（全局解）。
　　 限制性：
　　（1） $\hat {\theta}$ 始终是真实值 $\theta$ 的估计值，其真实性受到训练样本个数的限制。当训练样本个数越多时，其中的样本越具有代表性，那么估计值

θ^ $\hat {\theta}$ 也就越接近真实值

θ $\theta$ 。
　　（2） 不正确的模型假设造成的误差很大。在设计分类器之前，要慎重假设数据所服从的分布。