机器学习中的参数估计方法

本文介绍了机器学习中的参数估计方法:最大似然估计(MLE)、最大后验概率估计(MAP)和贝叶斯估计。通过扔硬币的伯努利实验举例,阐述了三种方法的原理和区别,并指出贝叶斯估计能更精确地反映参数的真实情况。
摘要由CSDN通过智能技术生成

    前几天上的机器学习课上,老师讲到了参数估计的三种方法:ML,MAP和Bayesian  estimation。课后,又查了一些相关资料,以及老师推荐的LDA方面的论文《Parameter estimation for text analysis》。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计,以及三者之间的区别。

1、最大似然估计MLE

首先回顾一下贝叶斯公式




这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即




最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做



由于有连乘运算,通常对似然函数取对数计算简便,即对数似然函数。最大似然估计问题可以写成




这是一个关于的函数,求解这个优化问题通常对求导,得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。

以扔硬币的伯努利实验为例子,N次实验的结果服从二项分布,参数为P,即每次实验事件发生的概率,不妨设为是得到正面的概率。为了估计P,采用最大似然估计,似然函数可以写作



其中

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值