A Tutorial on Energy-Based Learning（机器学习能量模型）学习记录

已于 2022-06-28 14:27:17 修改
阅读量5.9k 收藏 13
点赞数 5
分类专栏： AI论文阅读记录 文章标签： 机器学习 学习 人工智能
于 2018-09-18 16:03:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30362711/article/details/82733557
版权
本文详细介绍了能量为基础的机器学习模型，探讨了如何通过能量函数进行预测、排名、检测和条件概率密度估计。文章阐述了Gibbs分布如何用于计算给定输入下不同标签取值的概率，并讨论了能量模型的训练过程，包括损失函数和优化策略。此外，还提及了简单的架构和涉及潜在变量的模型应用。
摘要由CSDN通过智能技术生成

1，Introduction

其中Y是标签，X是输入。基于能量的机器学习模型即是寻找这样一个函数，和输入数据越接近，能量越小。给定一个输入，最好的模型即是对应的Y的值是真实值，这个真实值的能量是最小的。

此模型可以做的工作有：预测、Ranking、Detection、条件概率密度估计。

上图是Gibbs 分布，用这个函数可以进一步的将能量函数，转换为给定X情况下Y的不同取值的概率的计算公式。因此，一般基于能量的算法，一般是先利用训练数据，计算出能量函数中的未知参数，使能量函数在训练数据时的能量最小，然后利用得到的能量函数，gibbs分布函数来得到概率模型。

2，Energy-Based Training: Architecture and LossFunction

训练模型即是在一个函数族内找到一个最优的能量函数，这个函数族的参数是W

通过最小化代价函数来找到最优的解

最低0.47元/天 解锁文章
qq_30362711
关注
专栏目录
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 4159
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
NTU-Coursera机器学习:机器学习基石 (Machine Learning Foundations)
松子茶的专栏
03-04 5324
这门课以8周设计,分成 4个核心问题,每个核心问题约需2周的时间来探讨.每个约2个小时的录影中,每个小时为一个主题,以会各分成4到5个小段落,每个段落里会有一个后多个随堂的练习.我们在探讨每个核心问题的第二周。关于Machine Learning更多讨论与交流，敬请关注本博客和新浪微博songzi_tea.
论文翻译：A Tutorial on Energy-Based Learning
scut_salmon的博客
01-02 1733
文章地址LeCun经典论文 Abstract      基于能量的模型（EBM）通过将标量能量与变量的每个配置相关联来捕获变量之间的依赖关系。推论包括钳制观测变量的值，并找出使能量最小的其余变量的配置。学习包括找到一个能量函数，其中变量的观察结构的能量比不可观测的能量要低。 EBM方法为许多学习模型提供了一个共同的理论框架，包括传统的判别式和生成式方法，图形变换网络，条件随机场，最大余量马
能量函数和能量基模型介绍
最新发布
weixin_39699362的博客
06-17 620
能量函数在物理学中通常描述系统的潜在能量，而在统计物理和机器学习中，特别是在能量基模型（Energy-Based Models，EBMs）中，它用来描述系统状态的概率。在机器学习的上下文中，能量函数是一个映射，它将系统的状态（例如，数据样本）映射到一个实数值，该实数值代表该状态的能量。通常，低能量对应于更可能（或更优）的状态，而高能量对应于不太可能（或更差）的状态。能量基模型的目标是学习一个能量函数，这个函数能很好地表示数据的概率分布。
EBM读书笔记（A Tutorial on Energy-Based Learning杂记）
dengju8060的博客
04-03 503
注：本文大部分是A Tutorial on Energy-Based Learning的部分内容翻译，也还有部分自己的理解。因此起名杂记。其中措辞和理解有可能不够严谨。 在物理学中，能量最低的状态认为是最稳定的，也可以认为是事物本来的状态。那么模式识别可以这样理解：把准则（判别函数）放在一个输入和各个模式上，如果输入在某个模式上的能量最小，就认为输入属于这个模式的可能性最大。判别函数有...
论文翻译和解读 A Tutorial on Energy-Based Learning （一）
qq_42275073的博客
05-02 2413
论文地址 这篇论文提出了一个概念Energy-based Models（EBMs）。由于原文篇幅较多，将分成多篇博客进行学习。 目录摘要1.简介1.1 Energy-Based Inference（基于能量的推断）1.2 这样一个模型可以回答什么问题呢1.3 Decision Making versus Probabilistic Modeling2.Energy-Based Training: Architecture and Loss FunctionDesigning a Loss Functiona
A Tutorial on Energy-Based Learning
weixin_37958272的博客
03-22 740
A Tutorial on Energy-Based Learning 1 Introduction: Energy-Based Models 统计建模和机器学习的主要目的是编码变量之间的依赖关系。通过捕获这些依赖关系，模型可以用来回答给定已知变量值的未知变量值的问题。 基于能量的模型（ebm）通过将标量能量（兼容性的度量）与变量的每个configuration相关联来捕获依赖性。推理，即作出预测或决定，包括设定观察变量的值c和找出使能量最小化的剩余变量的值。学习包括找到一个能量函数，将低能量与其余变量的正
机器学习（Machine Learning）入门科普
vast_w
05-18 4764
=======================国外==================== Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)     在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方  ，在附近的两所名校（加stanford）中
机器学习——深度学习 Deep Learning
gfjjggg的博客
01-23 234
机器学习——深度学习 Deep Learning
Energy Based Learning Classification task using Restricted Boltzmann Machine
02-08
用玻尔兹曼机做分类
A Tutorial on Energy-Based Learning 2.2
weixin_37958272的博客
03-22 132
2.2 Examples of Loss Functions 我们现在描述了机器学习文献中提出和使用的一些标准损失函数。我们将讨论它们，并在基于能量的环境中将它们分为“好”或“坏”。暂时，我们抛开正则化项，集中在损失函数的数据相关部分。 2.2.1 Energy Loss 所有损失函数中最简单和最直接的是能量损失。对于训练样本（Xi，yi），每个样本的损失定义如下： 这种损失函数虽然在回归和神经网络训练等方面非常流行，但不能用于训练大多数体系结构：虽然这种损失会降低所需答案的能量，但不会增加任何其他能量。
能量模型(EBM)、限制波尔兹曼机(RBM)
热门推荐
chlele0105的专栏
12-13 3万+
由于深度置信网络（Deep Belief Networks，DBN）是基于限制性玻尔兹曼机（Restricted Boltzmann Machines，RBM）的深层网络结构， 所以本文重点讨论一下玻尔兹曼机（BM），以及它的学习算法——对比散度（Contrastive Divergence，CD）算法。在介绍BM前，我们首先介绍一下 基于能量的模型（Energy Based Model，EBM）
libeblearn tutorial: energy-based learning in C++
一休哥的专栏
12-05 1524
libeblearn tutorial: energy-based learning in C++ By Pierre Sermanet and Yann LeCun (New York University) The eblearn (energy-based learning) C++library libeblearn contains machine learnin
EBM（基于能量的模型）
qq_51221943的博客
11-02 3539
根据目前学习论文”Generative PointNet: Deep Energy-Based Learning on Unordered Point Sets for 3D Generation, Reconstruction and Classification“是关于能量的无序点集的深度学习三维生成、重建和分类。论文中涉及的神经网络中的能量函数值越小，系统越趋于稳定。 所以在机器学习中E(x)通常可以表示为似然函数，故求最大似然就可以被表示为求最小能量 ...
基于能量的模型
sunghosts的专栏
07-13 1833
转：https://zhuanlan.zhihu.com/p/343529491 有些可视化以及清晰的见解来自ICLR 2020: Yann LeCun and Energy-Based Models。所谓的能量模型并不是一种新的技术，而是LeCun的一种尝试：将当前的DL，ML统一在能量模型的框架中。我们先理解一下何为能量函数，能量函数通常写作 E(x,y)E(x, y)E(x,y) 用于衡量 x,yx, yx,y 的 compatibility，也可以理解为 x,yx, yx,y 是否匹配，能量越小匹配
[Deeplearning]能量模型(EBM)
qian2729的专栏
01-19 8644
本篇博客是对基于能量的模型和波尔兹曼机学习的总结。1. 基于能量的模型(EBM)基于能量的模型主要有两个任务，一个是推断(Inference)，在给定观察变量的情况下，找到使能量值最小的那些隐变量的配置。另一个是学习(Learning),寻找一个恰当的能量函数，使得观察变量的能量比隐变量的能量低。 基于能量的概率模型通过一个能量函数来定义概率分布。 p(x)=e−E(x)Z...(1)p(x)=
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
qq_40349484的博客
12-07 3158
论文阅读：Energy Based Learning for Scene Graph Generation(CVPR2021)
免费机器学习与深度学习视频教程合集
"该资源包含了多个关于机器学习和深度学习的视频课程，包括林轩田的《机器学习基石》和《机器学习技法》，Andrew Ng的课程及讲义，Hinton的...对于想要系统学习机器学习和深度学习的个人，这是一个不可多得的资源集合。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值