Information Bottleneck 信息瓶颈

已于 2022-03-10 10:49:12 修改
阅读量7.1k 收藏 28
点赞数 5
文章标签： 机器学习 算法 人工智能
于 2022-02-19 16:23:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44522007/article/details/123019675
版权
信息瓶颈理论在机器学习中提出，目标是用最少的信息来提取关键特征，从而提高模型的泛化能力。通过变分信息瓶颈（VIB）在深度学习模型中实现，它在编码器和解码器中优化互信息，减少冗余信息，增强相关性。这一理论在实践中表现为调整损失函数，通过最大化Y和Z的互信息并最小化X和Z的互信息，达到理想的特征提取效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

信息瓶颈（Information Bottleneck，IB），是一个比较朴素的思想：当面对一个任务，应用试图用最少的信息来完成。这和 “最小熵系列”类似，因为信息对应着学习成本，我们用最少的信息来完成一个任务，就意味着用最低的成本来完成这个任务，这意味着得到泛化性能更好的模型。

把所有那些对工作有帮忙的判断性信息全提取进去，同时又过滤掉冗余性的信息。

信息瓶颈的原理

为什么更低的成本/更少的信息就能得到更好的泛化能力？

比如在公司中，如果要为每个客户都制定一个解决方案，派专人去跟进，那么成本是很大的；如果能找到一套普适的方案来，以后只需要在这个方案基础上进行微调，那么成本就会低很多。

“普适的方案” 是因为我们找到了客户需求的共性和规律，所以很显然，一个成本最低的方案意味着我们能找到一些普适的规律和特性，这就意味这泛化性能。

在深度学习中，我么能利用 ”变分信息瓶颈“（VIB）Variational Information Bottleneck来体现这一点。

原理

查看reference

结果观察与实现

相比原始的监督学习任务，变分信息瓶颈的改动是：

1. 引入了均值和方差的概念，加入了重参数操作

2. 加入了KL散度为额外的损失函数

跟VAE如出一辙

Reference

最低0.47元/天 解锁文章
信息瓶颈理论-笔记
机器学习专栏
04-19 6175
什么是信息瓶颈理论 信息瓶颈（英语：information bottleneck）理论是信源压缩的率失真理论的一种拓展。通俗讲： 由于没有先验知识，于是只好都记住，但是可以消除数据本身的冗余（如huffman编码）。这个是最传统的数据压缩，如果允许压缩时失真，对应的是率失真理论：给定失真下可获得的最低压缩码率，即在失真和压缩码率之间权衡。 如果有先验知识，比如数据是带标签的，那消除数据本身的...
通过信息瓶颈预防大语言模型越狱：Protecting Your LLMs with Information Bottleneck
weixin_44212874的博客
04-23 1295
在这项工作中，作者介绍IBProtector，这是一个基于信息瓶颈原理的防御机制。IBProtector通过一个轻量级且可训练的提取器，选择性地压缩和扰动提示，只保留目标LLMs回应预期答案所需的提示文本中核心信息。
Information Bottleneck信息瓶颈理论
lt1103725556的博客
12-23 8587
可以理解为一个损失函数 信息瓶颈理论把神经网络理解为一个编码器和一个解码器，编码器将输入x编码成Z，解码器将Z解码成输出y 而信息瓶颈理论的目标则是 RIB(θ)R_{IB}(\theta)RIB​(θ)就是信息瓶颈，θ\thetaθ是网络的参数，也是要优化的东西 I(Z,Y;θ)I(Z,Y;\theta)I(Z,Y;θ)就是输出Y和中间feature Z的互信息 I(Z,X;θ)I(Z,X;\theta)I(Z,X;θ)是输入X和中间feature Z的互信息 互信息参考互信息的定义 在决策树的C4.5
Deep Variational information bottleneck
12-09
论文“Deep Variational information bottleneck”阅读笔记
信息瓶颈理论 (Information Bottleneck Theory)
weixin_44012667的博客
12-08 2055
在机器学习的背景下，信息瓶颈理论主要是通过优化一个损失函数来获得一个有效的表示，使得其包含足够的输入信息，同时又具有最小的冗余。通过图神经网络（GNN）对节点进行消息传递和聚合，模型将图的局部结构信息转化为具有泛化能力的中间表示，避免图中无关的信息过多地影响模型的训练。在图结构数据中，信息瓶颈理论的核心思想类似于标准的信息瓶颈理论，但它需要考虑图的拓扑结构和节点之间的关系。包含更多的节点类别信息或任务相关的标签信息。在图的自监督学习中，我们要学的是如何从图的结构（节点和边的特征）中提取信息，并在中间表示。
信息瓶颈问题
Recursions的博客
08-20 1317
信息瓶颈（Information Bottleneck）是一种源于信息论的理论框架，在多个领域中发挥着重要作用。它主要聚焦于理解和分析信息处理系统中的信息压缩与特征提取过程。：信息瓶颈方法致力于找到一种对输入数据的压缩表示方式。这种压缩表示应尽可能多地保留与特定目标变量相关的信息，同时最大限度地去除与目标变量无关的信息。通过这样的方式，能够在信息的压缩和关键信息的保留之间找到一个平衡。：信息瓶颈通过最小化一个由互信息组成的目标函数来实现其目标。设输入变量为(X)，目标变量为(Y)，压缩表示为(T)。
【深度学习·命运-88】信息瓶颈理论（Information Bottleneck, IB）
m0_69378371的博客
12-12 1008
信息瓶颈理论为理解学习任务中的信息流提供了一个重要的框架。它强调在处理数据时，要从中提取尽可能多的与目标任务相关的信息，并通过压缩去除冗余信息。这一思想不仅为。
Awesome-Information-Bottleneck:有关信息瓶颈的论文，代码，数据集，研究人员
05-25
真棒信息瓶颈 精选的相关资源列表，以解决信息瓶颈。 内容 文件 arXiv论文 精确的室内位置识别的变分信息瓶颈模型[] 钱伟柱，弗兰克·盖克特（Franck Gechter） 具有信道状态信息的遗忘中继的信息瓶颈：矢量情形[] ...
THE INFORMATION BOTTLENECK THEORY OF DEEP LEARNING.pdf
08-13
为了解释和提升深度神经网络的泛化能力，信息瓶颈理论被提了出来，它基于信息论的概念，试图建立一个新的、一般性的学习理论来阐释深度学习的原理。 信息瓶颈理论最初在2015年由Naftali Tishby和Noga Zaslavsky提出...
交叉熵、信息熵、KL散度、互信息与Information Bottleneck【信息瓶颈IB】之间的关系
qq_45249273的博客
10-27 4693
信息熵，相对熵（KL），交叉熵、互信息和信息瓶颈
论文阅读笔记（三）——有监督解耦+信息瓶颈
weixin_45607635的博客
05-24 1959
《Disentangled Information Bottleneck》阅读笔记
Information Bottleneck阅读笔记
jueliangguke的专栏
12-23 6484
DeepBayes暑期学校的最后一讲《Information,  Noise and Emergent  Properties of  Learning Deep  Representations》，邀请的UCLA的Alessandro Achille远程授课，结果这位意大利小哥的英语真是令人迷醉（也许是skype的音质问题？），只看视频完全不知道在讲什么，youtube的自动字幕也经常表示听不懂...
探索信息瓶颈理论的通用实现：Generalized Information Bottleneck Library
gitblog_00082的博客
06-25 456
探索信息瓶颈理论的通用实现：Generalized Information Bottleneck Library 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 这个开源项目专注于实现一种通用化的信息瓶颈（Generalized Information Bottleneck）理论，该理论是基于Tishby, Pereira, Bialek (1999)的信息瓶颈（Inf...
深度多视图信息瓶颈：Deep Multi-view Information Bottleneck
gandebeautiful的博客
05-05 1590
论文题目：Deep Multi-view Information Bottleneck Summary 单个视图的信息瓶颈模型已经发展较为成熟，但尚未有在多视图上的信息瓶颈理论，本论文将信息瓶颈理论用于处理多视图数据，在学习得到单个视图的表征后，融合生成最终表征。 Problem Statement 现有的多视图融合的过程都是线性的，但多个视图之间的联系往往是非线性的而且是复杂的，所以需要更好的融合的过程。 Method ...
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
This is Yu SI's blog. Kenny(司宇SIYU)
10-04 2590
从信息瓶颈(IB)原理的理论框架出发，对深度神经网络(DNNs)进行了分析。我们首先证明了任何DNN都可以由层与输入输出变量之间的互信息来量化。利用这种表示，我们可以计算DNN的最优信息论界限，并得到有限样本推广界限。更接近理论极限的优势既可以通过泛化界限来量化，也可以通过网络的简单性来量化。我们认为，无论是最优体系结构、层数还是每层的特征/连接，都与信息瓶颈权衡的分岔点有关，即输入层相对于输出层的相对压缩。分层网络处的分层表示自然对应于沿着信息曲线的结构相变。我们相信这种新的洞察力可以产生新的最优界和深度
变分信息瓶颈
张小白的博客
09-20 1097
就是信息瓶颈[1],它的意义就是要学习到一种编码，能够对于输出的预测具有最大的表达能力，同时对于输入信息具备最大的压缩能力。和马尔可夫链本身的约束得到，利用马尔可夫链，还可以得到，的概率分布的熵，这个和我们的优化过程无关，可以被忽略掉，，中间的某些层的特征表示我们把它当成是一种随机编码。这是用来衡量两个随机变量相关性的一个量，显而易见若。这个马尔可夫链上的分布可以完全由我们的编码器。是编码器网络，可以利用重参数化技巧，得到。之间的关系满足如下的马尔可夫链（即。不是一件容易的事情，因此，让。
【论文】Tishby‘s talk about Information Bottleneck 翻译（二）
阿卧鹅
09-11 739
要想听懂这一段，先准备一点基础知识： https://www.youtube.com/watch?v=EQTtBRM0sIs&feature=youtu.be&t=42m55s Tishby另一个视频，介绍的更详细一点。 1.PAC学习：Probably Approximately Correct，PAC框架主要确定数据是否可分，确定训练样本个数，判断时间空间复杂度等。 ...
戳穿泡沫：对「信息瓶颈」理论的批判性分析
机器之心
11-26 1427
「信息瓶颈」（Information Bottleneck）理论由耶路撒冷希伯来大学的计算机与神经科学家 Naftali Tishby 等人提出。该研究有望最终打开深度学习的黑箱，并解释人脑的工作原理（参见：揭开深度学习黑箱：希伯来大学计算机科学教授提出「信息瓶颈」）。Geoffrey Hinton 曾对此研究评论道：「信息瓶颈极其有趣，估计要再听 10000 遍才能真正理解它，当今能听到如此原创
python实现information bottleneck
最新发布
02-12
### 使用Python实现信息瓶颈方法 #### 介绍 信息瓶颈（Information Bottleneck, IB）是一种用于特征提取的技术，旨在通过最小化输入数据与目标变量之间的互信息来压缩表示。这种方法可以有效地去除冗余信息并保留有用的信息。 #### 实现细节 为了实现IB，在实践中通常会构建一个编码器网络以学习低维表示，并引入正则项约束该表示中的信息量[^1]。具体来说： - **定义模型结构**：创建神经网络作为编码器。 - **计算互信息**：利用变分下界估计互信息。 - **训练过程**：调整超参数β控制信息损失的程度。 下面是一个简单的基于PyTorch框架的IB实现例子: ```python import torch from torch import nn, optim import numpy as np class Encoder(nn.Module): def __init__(self, input_dim=784, hidden_dim=128, latent_dim=64): super(Encoder, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, latent_dim) def forward(self, x): h = torch.relu(self.fc1(x)) z = self.fc2(h) return z def compute_mutual_information(z, y_true): """Estimate mutual information using variational lower bound.""" # Placeholder function; actual implementation depends on specific requirements. mi_estimate = ... # Implement this part based on your needs return mi_estimate # Hyperparameters beta = 0.1 # Controls trade-off between compression and prediction accuracy. encoder = Encoder() optimizer = optim.Adam(encoder.parameters(), lr=1e-3) for epoch in range(num_epochs): encoder.train() for data, labels in dataloader: optimizer.zero_grad() encoded_data = encoder(data.view(-1, 784)) # Flatten image inputs # Compute loss components reconstruction_loss = ... mi_z_y = compute_mutual_information(encoded_data, labels) total_loss = reconstruction_loss + beta * (mi_z_y - target_mi)**2 total_loss.backward() optimizer.step() ``` 此代码片段展示了如何设置基本的IB机制。需要注意的是`compute_mutual_information()`函数的具体实现在很大程度上取决于应用场景以及所使用的理论框架；这里仅提供了一个占位符版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值