统计机器学习
执着的蜗牛慢慢来
这个作者很懒,什么都没留下…
展开
-
高斯分布参数的极大似然估计
正态分布被命名为高斯分布,我们也容易认为是高斯发现了正态分布,其实不然,高斯分布最早由棣莫弗在1718年著作的书籍(Doctrine of Change),及1734年发表的一篇关于二项分布文章中提出的,不过高斯对于正态分布历史地位的确立起到了决定性的作用。本篇主要介绍一维高斯分布参数的极大似然估计如何计算。一维高斯分布对于一元实值变量xxx,高斯分布被定义为N(x∣μ,σ2)=1(2πσ2)12exp{−12σ2(x−μ)2}N\left( x|\mu ,\sigma ^2 \right) =\原创 2020-12-07 14:55:08 · 4375 阅读 · 4 评论 -
EM算法:期望最大化算法
EM算法:期望最大化算法MLE(极大似然估计法)是一种非常有效的参数估计方法,但在概率模型中,有时既含有观测变量 (observable variable), 又含有隐变量(hidden variable)或潜在变量(latent variable),例如:分布中有多余参数或数据为截尾或缺失时,这个时候使用MLE求解是比较困难的。于是Dempster等人于1977年提出了EM算法,其出发点是把求MLE的过程分两步走,第一步是求期望,以便把多余的部分去掉,第二步是求极大值。我们给定数据和参数:x:&原创 2020-12-06 11:25:21 · 257 阅读 · 0 评论 -
频率学派和贝叶斯学派
@# 频率学派和贝叶斯学派概率模型的训练过程其实是参数估计(parameter estimation)的过程。对于参数的估计,统计学界的两个学派提供了各自的解决方案:频率学派(Frequentist)认为参数虽然未知,但却是客观存在的固定值,所以可以通过优化似然函数等准则来确定参数值;贝叶斯学派(Bayesian)则认为参数是未观察到的随机变量,其本身也有分布,因此,可假设参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布。定义数据集如下:XN×p=(x1,x2,⋯ ,xN)T,xi=(x原创 2020-12-06 11:23:08 · 234 阅读 · 0 评论