MLE，MAP，经验风险最小化，结构风险最小化,邻域风险最小化

已于 2022-12-11 13:19:26 修改
阅读量933 收藏 1
点赞数 1
文章标签： 人工智能 算法
于 2022-12-11 12:41:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45748590/article/details/128273560
版权

文章目录

Maximun likelihood extimation

最大似然估计:样本->参数,完全相信观测到的数据,最优可能产生这些看到的数据的模型就是最理想的模型.
频率学派认为,参数是一个常数,不断实验就能逼近参数的真实值.
对应经验风险最小化的策略,弊端容易产生过拟合.改善过拟合用到结构风险最小化

Maximum A Posterior Estimation

最大后验估计:不能完全相信观测到的数据,因为可能存在偏差.样本+经验模型->参数.
贝叶斯学派:参数是一个变量,不存在确定模型.而先验分布就是对概率分布的一个猜测.然后再用观察到的数据修正这个值.投硬币这个人每时每刻的状态都不同,所以实验的数据有偏差.
加了参数的先验概率.

可以认为,最大似然估计好坏取决于观测的数据的质量,而最大后验估计取决于后验模型的准确性.
可以看成通过先验概率引入正则化的效果.

在这里插入图片描述

Vicinal Risk Minimization, VRM

经验风险最小化（Empirical Risk Minimization, ERM）允许大型神经网络强行记住训练数据（而不是去学习、泛化），即使加了很强的正则化，或是在随机分配标签的分类问题中，这个问题也依然存在。使用ERM原则训练的神经网络，当在训练样本分布之外的数据上进行评估时，预测结果会发生显著的变化，这被称为对抗性样本。一种解决方法是邻域风险最小化（Vicinal Risk Minimization, VRM），即通过数据增强在原始样本的基础上构造更多的样本，但数据增强中需要人类知识来描述训练数据中每个样本的邻域，比如翻转、缩放等。因此VRM也有两点不足

数据增强过程依赖数据集，因此需要专家知识
数据增强只建模同一类别之间的邻域关系

骑着乌云看雪
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mixup: BEYOND EMPIRICAL RISK MINIMIZATION
ellin_young的博客
07-22 3274
原文：https://arxiv.org/pdf/1710.09412.pdf  代码：https://github.com/hongyi-zhang/mixup 摘要：深度神经网络非常强大，但也有一些问题，如强制记忆和对对抗样本的敏感性；本文提出的mixup就是缓解这些问题的一种学习策略。本质上，mixup用样本对和标签对的凸组合(on convex combinations of pa...
支持向量机 7 VRM原则
MBlog
08-22 482
7 邻域风险最小化原则（VRM） 硬邻域函数 定义邻域(E表示一种度量，如E=1,2,..,∞E=1,2,..,\inftyE=1,2,..,∞) vE(a)={x:∣∣x−a∣∣E≤ra}v_E(a) = \{x: ||x-a||_E \le r_a\}vE​(a)={x:∣∣x−a∣∣E​≤ra​} 如以下典型例子 v1(a)={x:∑k=1n∣xk−ak∣≤ra}v2(a)={x:∑k=1n∣xk−ak∣2≤ra2}v∞(a)={x:max⁡k=1,..,n∣xk−ak∣≤ra}v_1(a) = \{
数据增强Mixup原理与代码解读
00000cj的博客
08-03 4330
中，对两张图片mixup后只是合并了两张图中的所有gtbox，并没有对类别标签进行mixup。其中\(x_{i},x_{j}\)是从训练集中随机挑选的两张图像，\(y_{i},y_{j}\)是对应的one-hot标签，通过先验知识特征向量的线性插值和对应目标的线性插值还是对应的关系，构造了新的样本\((\widetilde{x},\widetilde{y})\)。其中\(\lambda\)通过\(\beta(\alpha,\alpha)\)分布获得，\(\alpha\)是超参。.........
MixUp:半监督笔记
Zhangsan0219的博客
11-10 1255
Introduction: 现有的深度学习模型一般都有两个共性：1) 这些模型在训练过程中都是最小化其在训练集样本上的平均损失，也即是经验风险最小化(empirical risk minimization, ERM)；2) 这些深度模型的参数量都与训练样本量成线性关系(一般是训练集样本数量的100-200倍)。 既往研究表明，只要模型大小（使用VC复杂度表示）不随着训练集样本数量的增加而增加，那么ERM就一定能够收敛。于是我们在使用ERM训练深度模型的时候就可能会有以下两个问题：1) 即使训练过程中使.
深度学习中小知识点系列(四) 解读MixUp、Random Erasing、CutOut、CutMix
weixin_44302770的博客
11-27 1265
算法非常简单：其中，xiyixi​yi​和xjyjxj​yj​是从原始训练数据中随机选取的两个样本，λ∈01λ∈01。$ \lambda$是mixup的超参数，控制两个样本插值的强度，当 $ \lambda→ 0或或或\lambda→ 1$时，则退化到了ERM的情况。
自动化所2018数学考博真题
05-18
自动化所2018数学考博真题 本文将详细解释自动化所2018数学考博真题的知识点，涵盖概率论、统计学、矩阵论和线性代数等方面的知识。 一、概率论 在第一题中，我们遇到了概率论的知识点。概率论是数学的一个分支，...
MLE_MAP_Part1.pdf
04-24
这个PDF文本详细介绍了最大似然概率与最大后验概率的联系与区别，适合基础较薄弱的人学习。
MLE、MAP、Bayesian-E、naive Bayes
12-18
最大似然估计、最大后验概率估计、贝叶斯估计、朴素贝叶斯方法的区别
MAP,MLE.rar_MAP去噪_ML_MLE去噪_map_图像噪声估计
09-24
在图像去噪中，MAP方法考虑了先验知识，即我们对图像潜在结构的了解，以及观测数据。通过最大化后验概率P(θ|D)，其中θ是待估计的参数，D是观测数据，我们可以得到最佳的去噪结果。在实际操作中，这通常涉及求解一...
基于最小错误率的贝叶斯决策
11-25
**基于最小错误率的贝叶斯决策** 贝叶斯决策理论是统计决策理论的一个分支，它结合了概率论和决策分析，用于在不确定环境中做出最优决策。在这个理论中，我们利用先验概率（即在获取观察数据之前对事件发生的概率...
论文研究-基于邻域风险最小化概率密度估计的自适应盲分离算法.pdf
07-22
为实现由不同统计特性和概率分布平滑特性信号得到混合信号的盲分离，对基于支持向量机的邻域风险最小化概率密度估计算法进行研究，提出一种邻域函数的构造方法，将其与自然梯度批处理算法相结合，形成一种新的自适应盲分离算法；利用广义高斯模型分析了分离算法的精确度。通过仿真实验，验证了该算法能分离统计特性不同的混合信号，相比于基于经验风险最小化的方法，该方法在收敛速度和精度方面的性能有很大提高。
深度学习小技巧（三）：训练技巧
duanyajun987的博客
06-21 1192
转载的有问题，可以看原文：https://hey-yahei.cn/2019/03/01/bag-of-tricks3/ 余弦学习率衰减（Cosine Learning Rate Decay） 论文：《SGDR: Stochastic Gradient Descent with Warm Restarts(2016)》 先前《深度学习小技巧（一）：高效训练 - 学习率衰减 | Hey~YaH...
数据增强之mixup
如果想成为中心，那么就到中心去吧。
05-02 1564
mixup mixup是基于邻域风险最小化（Vicinal Risk Minimization, VRM）原则的数据增强方法，使用线性插值得到新样本数据。 在邻域风险最小化原则下，根据特征向量线性插值将导致相关目标线性插值的先验知识，可得出简单且与数据无关的mixup公式： 其中（xn，yn）是插值生成的新数据，(xi,yi) 和 (xj，yj)是训练集中随机选取的两个数据，λ的取值满足贝塔分布...
经验风险最小化
datongchi4098的博客
11-18 854
学习理论： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk minization） 联合界引理和Hoeffding不等式（Union bound & Hoeffding inequality） 有限与无限假设类的...
域泛化与不变性风险最小化
诗弈羽弦的博客
01-15 499
域泛化与不变风险最小化
人工智能学习笔记2：贝叶斯决策理论part1（BAYES基本准则、决策面、分类器）
caihaihua0572的博客
05-25 1294
贝叶斯决策必须符合的要求 模式识别基础概念：特征空间、特征向量、类型空间， 最小错误率准则 例子 最小风险准则 最小风险贝叶斯决策： 考虑各种错误造成损失不同而提出的一种决策规则。 MR最小风险概率估计 举个例子看看这两个准则在实际中的应用 因为无法将其判断所以我们需要引入第三个准则 根据似然数比：先验未知无法MAR，损失未知无法MR Neyman-Pearson 准则假定先验概率是一个确定的值 ，此时判定结果会受到先验概率的影响 。 最小最大决策准则 ： 在最差的条件下 争
基于经验风险最小化的领域泛化的实证研究--NIPS2021
最新发布
Weiv_gao的博客
02-20 122
最近的研究表明，使用经验风险最小化(ERM)训练的深度神经网络可以在分布移位下进行泛化，优于专门的领域泛化训练算法。本文的目的是进一步了解这一现象。特别是，我们研究了Ben-David等人(2007)的开创性的领域适应理论在多大程度上解释了ERM 的表现。也许令人惊讶的是，我们发现这个理论并没有提供一个严密的解释，在三个流行的领域泛化数据集上训练的大量 ERM 模型中观察到的域外泛化。这促使我们研究其他可能的方法——尽管缺乏理论——来解释这种情况下的泛化。
计量经济学-第六章自回归——科克伦检验结果和书上不一致（SIGMASQ）？
阿里云专家博主、数据科学领域优质创作者、统计er在读
11-19 7473
最近很多同学学习计量经济学自回归时，遇见了一个小问题，就是使用EVIEWS进行科克伦检验和教材中的结果不一样，这是因为自EVIEWS8之后，默认的方法发生了改变。 EVIEWS8之后 在命令行输ls y c x AR（1），得到的结果如下： 我们可以发现Method: ARMA Maximum Likelihood (BFGS) 也就是说目前默认的方法是使用BFGS。更改默认方法如下： 经过上述两个步骤得到结果如下，发现和教程中的一致，这说明在EVIEWS8之前使用的默认方法为Method: ARM
mixup_ratio
weixin_45104951的博客
04-10 3284
目录 1.简介 2.背景 3.mixup_ratio主要工作 4.理解 5.讨论 6.计算loss时，关于label的选择 7.几种数据增强方式 8.对数据增强的讨论 mixup_ratio个人可以理解为按比例混合两个样本，生成新的样本，是一种数据增强的方式。 1.简介 大型深度神经网络，损耗巨大的内存以及对对抗样本（干扰）的敏感性一直不太理想。本质上，mixup在成对样本及其标签的凸组合（convex combinations）上训练神经网络。这样做，mixup规范神...
最小二乘法的MLE理解模式
06-07
最小二乘法是一种常见的参数估计方法，它的核心思想是通过最小化误差平方和来确定模型参数。在最小二乘法中，我们假设误差服从正态分布，即满足 $\epsilon \sim N(0,\sigma^2)$，其中 $\epsilon$ 表示误差，$\sigma^2$ 表示误差的方差。同时，我们还假设数据点之间是独立的。 根据这些假设，我们可以使用最大似然估计（MLE）来求解模型参数。最大似然估计的思想是，通过观察到的数据来确定最有可能产生这些数据的模型参数。在最小二乘法中，我们可以将目标函数转化为似然函数，即： $$L(\theta|x_1,x_2,...,x_n) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y_i-\theta x_i)^2}{2\sigma^2}\right)$$ 其中 $\theta$ 表示模型参数，$x_i$ 和 $y_i$ 分别表示第 $i$ 个观测值的自变量和因变量。我们的目标是最大化似然函数，即求解使得 $L(\theta|x_1,x_2,...,x_n)$ 最大的 $\theta$ 值。 通过对似然函数取对数并对 $\theta$ 求导，我们可以得到最小二乘法的解析解： $$\hat{\theta} = \frac{\sum_{i=1}^n x_iy_i}{\sum_{i=1}^n x_i^2}$$ 这个公式就是最小二乘法的MLE理解模式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值