极大似然估计，最大后验概率等比较不错的文章

已于 2022-11-26 18:35:14 修改
阅读量613 收藏 1
点赞数 1
分类专栏： 笔记 文章标签： 算法 人工智能
于 2022-10-20 17:40:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54025765/article/details/127429809
版权

一文搞懂极大似然估计 - 知乎

极大似然估计与最大后验概率估计 - 知乎    👍👍👍

线性回归求解的两种表示（最小化均方误差和基于高斯分布的极大似然估计） - 知乎【式3 ，4不是很理解，有点模糊】

L1正则化与L2正则化 - 知乎  👍

----------------------------2022年11月26日16:34:05-----------------------------------------

【模式识别】最小风险贝叶斯决策_番茄发烧了的博客-CSDN博客_最小风险贝叶斯决策

概率学派和统计学派

对于概率看法不同：频率学派和贝叶斯学派       =-=有趣

摘一些有趣的东西：

【链接2】

① 频率学派

他们认为世界是确定的。他们直接为事件本身建模，也就是说事件在多次重复实验中趋于一个稳定的值p，那么这个值就是该事件的概率。

他们认为模型参数是个定值，希望通过类似解方程组的方式从数据中求得该未知数。这就是频率学派使用的参数估计方法-极大似然估计（MLE），这种方法往往在大数据量的情况下可以很好的还原模型的真实情况。

② 贝叶斯派

他们认为世界是不确定的，因获取的信息不同而异。假设对世界先有一个预先的估计，然后通过获取的信息来不断调整之前的预估计。 他们不试图对事件本身进行建模，而是从旁观者的角度来说。因此对于同一个事件，不同的人掌握的先验不同的话，那么他们所认为的事件状态也会不同。

他们认为模型参数源自某种潜在分布，希望从数据中推知该分布。对于数据的观测方式不同或者假设不同，那么推知的该参数也会因此而存在差异。这就是贝叶斯派视角下用来估计参数的常用方法-最大后验概率估计（MAP），这种方法在先验假设比较靠谱的情况下效果显著，随着数据量的增加，先验假设对于模型参数的主导作用会逐渐削弱，相反真实的数据样例会大大占据有利地位。极端情况下，比如把先验假设去掉，或者假设先验满足均匀分布的话，那她和极大似然估计就如出一辙了。

经验风险最小化与结构风险最小化是对于损失函数而言的。可以说经验风险最小化只侧重训练数据集上的损失降到最低；而结构风险最小化是在经验风险最小化的基础上约束模型的复杂度，使其在训练数据集的损失降到最低的同时，模型不至于过于复杂，相当于在损失函数上增加了正则项，防止模型出现过拟合状态。这一点也符合奥卡姆剃刀原则：如无必要，勿增实体。

① 极大似然估计（MLE）

-她是频率学派模型参数估计的常用方法。

-顾名思义：似然，可以简单理解为概率、可能性，也就是说要最大化该事件发生的可能性

-她的含义是根据已知样本，希望通过调整模型参数来使得模型能够最大化样本情况出现的概率。

② 最大后验概率估计（MAP）

-她是贝叶斯派模型参数估计的常用方法。

-顾名思义：就是最大化在给定数据样本的情况下模型参数的后验概率

-她依然是根据已知样本，来通过调整模型参数使得模型能够产生该数据样本的概率最大，只不过对于模型参数有了一个先验假设，即模型参数可能满足某种分布，不再一味地依赖数据样例（万一数据量少或者数据不靠谱呢）。

最大后验估计相对于最大似然估计可以看作多了参数的直接观测值。

【链接3】

用均方误差最小化求解线性回归，和假设预测误差符合高斯分布，然后利用高斯分布的极大似然估计求解线性回归，最后得到的结果相同

【链接4】

正则化项（解靠近零，模型简单），l1范数（解稀疏）和l2范数（解平滑）对应的其实是拉普拉斯分布和正态分布取对数的表现

【链接5】

 这个很简单，漂亮啊，之前只是机械的记忆，现在可以稍微真正理解一下【公式推导真的魅力】

朴素贝叶斯就是利用最小化错误率来做的，其本质是在求类条件概率P(x|w_i)时，假设x_i是相互独立的【不然计算量太大了没法搞吖】。之前PR的作业题就是假设类条件概率符合二维正态分布来求的决策平面【决策平面说的高大上，其实就只是下面提到的后验概率相等的点（高维简称面）】

对于最小错误率规则，确定了最小错误率也就确定了决策边界。也就是两个后验概率相等的点。

解释：这里说的一开始没读懂，但是其意思就是说x<b时，x属于w1，反之属于w2.（这里针对线性，非线性无非就是多了几个分界点，分段说一下即可）

流感的例子很清晰，也告诉我们其实最小风险错误率就是在错误率上加了权重（风险），错误率是多种概率的求和（可以说是全部概率的求和，正确的那个可以风险给0不就好了嘛【诶！果然就是这样】）。

文章最后对于协方差，先验概率的分类讨论没有细看，暂时用不到吧应该【侥幸，主要是有点看不进去】

头发是我最后的倔强
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
3.2 参数估计：极大似然估计方法 ML
jhshanvip的博客
07-12 3740
3.2 极大似然估计方法 ML 极大似然估计方法是高斯提出，并利用该技术获得测量误差满足高斯分布的结论。假设随机变量满足概率密度函数 p(x∣θ)p(x|\mathbf{\theta})p(x∣θ)，其中 θ\mathbf{\theta}θ 是需要估计的参数向量，比如高斯分布中的均值和方差参数，令随机抽取到 nnn 个样本 (x1,⋯ ,xn)(x_1,\cdots,x_n)(x1​,⋯,xn​) 。每个样本被抽取到的概率为 p(xi∣θ)p(x_i|\mathbf{\theta})p(xi​∣θ) ，假设
拉普拉斯分布中，参数b的极大似然估计
最新发布
qq_36134287的博客
10-28 373
为了求解 \(b\) 的极大似然估计，我们可以通过最大化似然函数（likelihood function）来实现。似然函数是给定观测数据下参数的条件概率。在这个问题中，我们的似然函数是拉普拉斯分布的概率密度函数。其中，\(b > 0\) 是分布的尺度参数。已知方差为 \(2^{1/2}b\)。我们要求 \(b\) 的极大似然估计。这个结果表示拉普拉斯分布的尺度参数 \(b\) 的极大似然估计是观测值的绝对值的平均。拉普拉斯分布的方差 \(Var[X] = 2b^{1/2}\)。
极大似然估计、拉普拉斯平滑定理、M-估计详解
dzyj211的博客
10-07 9846
注意： （1）   原载地址：http://blog.csdn.net/xinhanggebuguake/article/details/8765536              （2）   英文原文链接：http://www.temida.si/~bojan/probability_estimation.PHP 概率估计 1引言 假设在一次实验中，我们进行了n次独立试验，
极大似然估计（MLE）+最大后验概率估计（MAP）
weiyaner的博客
06-09 693
转自：文章 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 1.概率和统计是一个东西吗？ 首先从概率和统计讲起： 概率（Probability）和统计（statistics）看似两个相似的概念，实则研究的问题恰好相反。 概率研究的问题是，已知一个模型和参数，
机器学习中的数学——常用概率分布（七）： 拉普拉斯分布（Laplace分布）
冯·诺依曼
10-03 2万+
拉普拉斯分布（Laplace分布）允许我们在任意一点μ\muμ处设置概率质量的峰值： Laplace(x∣μ,γ)=12γe−∣x−μ∣γ\text{Laplace}(x|\mu,\gamma)=\frac{1}{2\gamma}e^{-\frac{|x-\mu|}{\gamma}}Laplace(x∣μ,γ)=2γ1​e−γ∣x−μ∣​ 拉普拉斯分布的期望为μ\muμ，方差为2γ22\gamma^22γ2，偏度为0，峰度为3。拉普拉斯分布的概率密度与正态分布看起来很像，下图为标准拉普拉斯分布（γ=1\ga
最大似然估计与最大验后估计
11-27
最大似然估计与最大验后估计 最大似然估计与最大验后估计
haibou.zip_最大似然_最大后验_最大后验概率
07-14
正确率可以达到98％，一些自适应信号处理的算法，最大似然（ML）准则和最大后验概率（MAP）准则。
Desktop_蒙特卡洛仿真_蒙特卡洛_极大似然估计_极大似然_似然估计
09-11
极大似然估计用蒙特卡洛仿真实现，蒙特卡洛仿真实现MATLAB例程
最大后验（Maximum a Posteriori，MAP）概率估计详解
01-20
最大后验（Maximum A Posteriori，MAP）概率估计 注：阅读本文需要贝叶斯定理与最大似然估计的部分基础 ...  想要了解最大后验（MAP）概率估计，需要学会贝叶斯定理以及极大似然估计（Maximum Likelihood Estimate，M
极大似然估计matlab代码
08-10
包括matlab代码和地物信息xls文件，利用文件中提供的地物的五个波段信息以及预分类的信息，进行编程，实现分类并和文件中的真正分类比较，发现正确率可以达到97%
金融数据广义不对称拉普拉斯分布的似然和二次距离方法
06-05
研究了使用单纯形直接搜索算法对广义不对称拉普拉斯（GAL）分布（也称为方差伽马）的最大似然（ML）估计。 在本文中，我们使用数值直接搜索技术来最大化对数似然率以获得ML估计量，而不是使用传统的EM算法。 GAL的密度函数仅是连续的，相对于参数而言是不可微分的，并且Bessel函数在密度中的出现使得难以获得整个GAL系列的渐近协方差矩阵。 利用M估计理论，研究了ML估计量的性质。 ML估计量对于GAL系列是一致的，并且仅对于非对称Laplace（AL）系列可以保证其渐近正态性。 获得了AL族的渐近协方差矩阵，它完成了先前文献中获得的结果。 对于一般的GAL模型，提出了基于二次距离（QD）的其他推理方法。 QD方法似乎比使用样本大小n≤5000以及金融数据经常遇到的参数范围的无限样本的似然方法更为有效。 所提出的方法仅要求参数模型的力矩生成函数存在并且具有闭合形式的表达式，并且可以用于其他模型。
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
nebulaf91的博客
05-31 31万+
声明：本文为原创文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。 本文作者: nebulaf91 本文原始地址：最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很
极大似然估计详解
热门推荐
知行流浪
05-28 38万+
极大似然估计         以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下： 贝叶斯决策         首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：         其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生
极大似然估计（MLE）与最大后验概率（MAP）的公式推导与联系
HuanCaoO的博客
09-01 2190
符号定义 令 ω\omegaω 为需要求解的模型参数集合，D={D1,D2,⋯ ,Dn}D = \{ D_1, D_2, \cdots, D_n \}D={D1​,D2​,⋯,Dn​} 为训练样本集合。 极大似然估计（MLE） 极大似然估计可认为是求解以下公式： mle=arg⁡max⁡p(ω∣D)=arg⁡max⁡p(ω∣{D1,D2,⋯ ,Dn})=arg⁡max⁡∏i=1np(ω∣Di)=arg⁡max⁡∑i=1nlog⁡p(ω∣Di) \begin{aligned} mle &= \arg\
拉普拉斯分布
weixin_43721354的博客
12-19 2655
Laplace分布的概率密度函数的形式是这样的： p(x)=12λe−|x–μ|λp(x)=12λe−|x–μ|λ 一般μμ的取值为0，所以形式如下： p(x)=12λe−|x|λp(x)=12λe−|x|λ 它是由两个指数函数组成的，所以又叫做双指数函数分布（double exponential distribution） 均值和方差 均值的求解,若X的概率密度函数为f(X),那么X的均值为...
极大似然估计和最大后验估计
lgb_love的专栏
08-16 5375
https://baijiahao.baidu.com/s?id=1593811166204755239&amp;wfr=spider&amp;for=pc 机器学习中，一般只得到业务产生的数据集D，机器学习目的是通过数据D了解该项业务的过去（建模）和未来（预测和分类）。但你手头上只有数据集D，没有其他任何辅助信息，那么如何建模？ 1.概率假设合理吗？ 我们总是假设数据集D由某种概率分布生成...
概率估计（极大似然估计、拉普拉斯平滑定理、M-估计的关系）
冰枫的随笔
04-06 1万+
英文原文链接：http://www.temida.si/~bojan/probability_estimation.php 原文： Probability estimation 1 Introduction Let us assume that in an experiment we have conducted n independent trials, of which there
极大似然估计_计量丨极大似然估计(1)
weixin_39568172的博客
12-15 7796
答疑1.极大似然方法把样本独立同分布当成默认假设极大似然方法不一定要求样本独立同分布但一般统计教材都只讨论独立同分布的情况，目前考试也只涉及独立同分布的题目，可当做默认假设。2.dlnL/dθ=0方法&定义法求MLE，dlnL/dθ=0是MLE的必要非充分条件一阶条件只是MLE的必要条件，不是充分条件满足dlnL/dθ=0的θ还需要满足① 似然方程dlnL/dθ=0只有唯一解...
最大后验概率与极大似然估计的区别
06-01
最大后验概率（Maximum a posteriori, MAP）和极大似然估计（Maximum likelihood estimation, MLE）都是统计学中常用的参数估计方法，但它们的目标不同。 MLE的目标是找到一个参数值，使得在该值下观测数据出现的概率最大。即给定数据，找到最好的参数值来描述这些数据。而MAP则是在MLE的基础上加入了先验概率的知识，即考虑参数先验分布的影响。MAP的目标是找到一个参数值，使得在该值下观测数据出现的条件概率最大，即最大化后验概率。 因此，MLE只考虑了数据本身的统计特性，而MAP则同时考虑了数据本身的统计特性和先验知识的影响。在某些情况下，加入先验知识可以提高参数估计的准确性和稳定性。但是，选择先验分布的合适性和先验概率密度函数的确定比较困难，需要依据具体问题来选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值