一致性正则化, KL散度

最新推荐文章于 2023-08-25 17:18:57 发布
最新推荐文章于 2023-08-25 17:18:57 发布
阅读量2.3k 收藏 2
点赞数 3
分类专栏： 机器深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Stdleohao/article/details/120615504
版权

一致性正则

Consistency Regularization 的主要思想是：对于一个输入，即使受到微小干扰，其预测都应该是一致的。
机器学习模型也应该对这种扰动具有鲁棒性。这通常通过最小化对原始输入的预测与对该输入的扰动版本的预测之间的差异来实现。可以是均方误差或KL散度或任何其他距离度量。[1]

这些随机性或扰动分类如下[2]：

  • 常规的数据增强， 如图像翻转，加随机噪音
  • 基于GAN
  • 时序移动平均
  • 同一模型多次预测时，Dropout层随机舍弃
  • 多模型
  • 对抗样本扰动Adversarial Example
  • 高级数据增强（基于强化学习或自监督学习）
  • 数据线性混合

如何衡量两个事件/分布之间的不同：KL散度

kl散度 = 交叉熵 - 熵[3]

Reference

[1] https://posts.careerengine.us/p/5f918342a94f955560289d1c
[2] http://blog.zhimind.com/consistency-regularization.html
[3] https://blog.csdn.net/fantacy10000/article/details/90668839

Stdleohao
关注
专栏目录
两个多元正态分布的KL散度、巴氏距离和W距离
Paper weekly
07-23 5060
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络正态分布是最常见的连续型概率分布之一。它是给定均值和协方差后的最大熵分布（参考《“熵”不...
记录知识点---通过双任务一致性进行半监督医学图像分割
青灵_Yaffa的博客
04-17 1389
DTC：通过双任务一致性进行半监督医学图像分割1、水平集衍生的分割图1.1 水平集方法（Level Set Method）2、水平集方法(the level set method，LSM)水平集方法为甚么能够在分割中有良好的使用呢？ 本文主要是将“DTC：通过双任务一致性进行半监督医学图像分割”论文中的知识点抠出来一个个的解决。 1、水平集衍生的分割图 白话理解：有一个表面S，它与一个平面P相交，得到一个曲线C，这个C就是我们通过水平集得到的轮廓。 1.1 水平集方法（Level Set Method）
smoothing-consistency:论文代码“对平滑分类器的稳健性进行一致性正则化”（NeurIPS 2020）
05-29
平滑分类器认证稳健性的一致性正则化 (NeurIPS2020) 该存储库包含和的论文“平滑分类器的证明稳健性的一致性正则化”代码。 依存关系 conda create -n smoothing-consistency python=3 conda activate smoothing-consistency # IMPORTANT: Please make sure `pytorch != 1.4.0` # Currently, our code is not compatible to `pytorch == 1.4.0`; # See more details at `https://github.com/pytorch/pytorch/issues/32395`. # Below is for linux, with CUDA 10; see https://pytorc
半监督学习笔记（二）：一致性正则化
IRONFISHER的博客
09-17 7311
Introduction 原文链接 https://arxiv.org/abs/2006.05278v2https://arxiv.org/abs/2006.05278v2 昨天的更新讲了一下半监督学习的Overview部分，简要的复习一下： 半监督学习的概念：大部分数据没有标注，少部分数据有标注，然后半监督学习要对这些数据执行良好的分类任务。 半监督学习的方法：一致性正则化，代理变量，生成模型，基于图的方法。 半监督学习的基本假设：平滑性假设、聚类假设、流形假设 半监督学习的相关问题：主动学
KL散度 L2正则 粗略理解
wr1997的博客
04-03 3334
信息熵可以表达数据的信息量大小； 相对熵，又被称为KL散度或信息散度，是两个概率分布间差异的非对称性度量 在信息论中，相对熵等价于两个概率分布的信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损耗 因此该公式的字面上含义就是真实事件的信息熵与理论拟合的事件的香农信息量与真实...
[总结] 半监督学习方法: 一致性正则化(Consistency Regularization)
热门推荐
不定期更新 Web 开发及机器学习相关博客
02-23 2万+
基于平滑假设和聚类假设, 具有不同标签的数据点在低密度区域分离, 并且相似的数据点具有相似的输出. 那么, 如果对一个未标记的数据应用实际的扰动, 其预测结果不应该发生显著变化, 也就是输出具有一致性.
深度半监督学习笔记（三）：一致性正则化
IRONFISHER的博客
09-19 3064
前几天更新了一致性正则化的前五种方法，我们可以看到整个模型也在不断的进步，从单纯的对噪声进行学习以增强网络的鲁棒性到应用对抗学习的一些知识。现在我们对之前的知识做简要的总结： Ladder Networks：简单的加入了编码-解码层，通过加入噪声来预测未加噪声层的输出来增强网络的鲁棒性。 Pi-model：通过dropout作为噪声源，利用了网络的dropout随机性使得网路更加强壮。 Temporal Ensembling：加入了指数平均法，使得网络能对之前训练的输出有所响应，减小了不稳定性。 M
无人工标注场景文本识别器：合成与真实图像一致性正则化的突破
14116无人工标注场景文本识别器性能极限的突破郑彩媛1，2，李惠辉3，李善敏4，韩胜柱4，韩在俊4，王鹏1，2 <$1西北工业大学计算机学院与宁波学院，2西北工业大学航空航天地海一体化国家工程实验室大数据应用技术，...
扰动模型的一致性正则化集成学习方法详解：CAMERO提高了模型泛化性能
然而，当增加共享权重的比例时，所得到的模型往往是相似的，并且使用模型集成的益处为了在保持低内存开销的同时保留集成的优点，我们提出了一种基于扰动模型的一致性正则化集成学习方法具体地说，我们在所有模型之间...
关于图神经网络图正则化的再思考
LIYUO94的博客
05-09 1770
hik=σ(W∗1∣Ni∣+1(∑j∋Nihjk−1+hik−1))h_{i}^{k}=\sigma\left(\mathrm{W} * \frac{1}{\left|N_{i}\right|+1}\left(\sum_{j \ni N_{i}} h_{j}^{k-1}+h_{i}^{k-1}\right)\right)hik​=σ(W∗∣Ni​∣+11​(∑j∋Ni​​hjk−1​+hik−1​))
Semi-Supervised-Transfer-Learning:半监督转移学习的自适应一致性正则化（CVPR 2021）
03-06
半监督转移学习的自适应一致性正则化 该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性： Abulikemu Abuduweili，Li Xingjian Li，Humphrey Shi，徐成中和Dou Dedou，“半监督转移学习的自适应一致性正则化”。 该代码是在具有Tesla V100 GPU的CentOS 6.3环境（Python 3.6，PyTorch 1.1，CUDA 9.0）上开发的。 内容 介绍 在这项工作中，我们考虑半监督学习和转移学习的结合，从而导致一种更实用和更具竞争力的范例，该范例可以利用源域中强大的预训练模型以及目标域中的带标签/未带标签的数据。 为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补组成部分：源模型和目标模型之间（（标记和未标记）示例上的自适应知识一致性（AKC）；以及目标模型上带标签和未
通过KL散度正则化进行会话模型适应
03-14
通过KL散度正则化进行会话模型适应
UDA一致正则化和熵最小化
m0_53444618的博客
12-26 2898
2021SC@SDUSC 我不知道写什么，先占个坑
模仿并超越人类围棋手，KL正则化搜索让AI下棋更像人类，Meta&CMU出品
量子位
12-17 249
晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI如果非要问AlphaGo有什么缺点，那就是下棋不像人类。和AlphaGo对弈过的顶级棋手都有这种感受，他们觉得AI落子经常让人捉摸不...
KL散度
qq_44089890的博客
04-29 9886
KL散度（Kullback-Leibler divergence），也称为相对熵（relative entropy），是用来衡量两个概率分布之间差异的一种指标。在机器学习中，KL散度常常用于度量两个概率分布之间的相似度或差异性。具体来说，假设我们有两个概率分布px和qx，其中px表示真实分布，qx表示模型预测的分布。DKL​p∣∣q∑x∈X​pxlogqxpx​其中，X是所有可能的取值的集合。可以看出，KL散度是px和qx。
中计算散度的函数_损失函数与正则化简介
weixin_36250977的博客
01-12 330
损失函数总结损失函数用来量化模型预测与真实标签之间的差异。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。注：y：样本的真实标签 ，f(x; ):样本的预测结果，L( y ,f(w; )):损失函数。损失函数简介（1）0-1损失函数：优点：最直观，表示训练集上的错误率。缺点：不连续且导数为0 ，难以优化...
CCT（cross-consistency train）里面的交叉一致性&一致性以及伪标签和一致性正则化的解释
最新发布
weixin_62912897的博客
08-25 1094
一致性正则化（Consistency Regularization）是一种在半监督学习中使用的技术，旨在通过鼓励模型在不同输入视图下产生一致的预测，以提高模型的性能和泛化能力。在半监督学习中，除了有标签数据外，还有大量的无标签数据可供使用。一致性正则化利用这些无标签数据来帮助模型学习更鲁棒和一致的表示。一致性正则化的基本思想是：对于给定的输入样本，在不同的变换或扰动下，模型的预测应该保持一致。
相对熵，kl散度
邹小驴
08-02 202
内容解释博客 https://blog.csdn.net/ACdreamers/article/details/44657745 https://blog.csdn.net/chdhust/article/details/8506260 python代码实现相对熵 https://blog.csdn.net/hfut_jf/article/details/71403741 https:/...
(转) KL散度的理解
weixin_30834783的博客
09-14 263
KL散度（KL divergence） 全称：Kullback-Leibler Divergence。 用途：比较两个概率分布的接近程度。在统计应用中，我们经常需要用一个简单的，近似的概率分布 f* 来描述。 观察数据 D 或者另一个复杂的概率分布f。这个时候，我们需要一个量来衡量我们选择的近似分布f*相比原分布f究竟损失了多少信息量，这就是KL散度起作用的地方。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值