【资源记录】Invertible Neural Networks 可逆神经网络是什么，与VAE，GAN的关系；什么是Bits per pixel，Bits per dim

最新推荐文章于 2024-06-13 09:58:55 发布
最新推荐文章于 2024-06-13 09:58:55 发布
阅读量4.5k 收藏 32
点赞数 8
分类专栏： 资源记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyue1997/article/details/109703025
版权

INN

两个很好的讲解视频：

https://www.youtube.com/watch?v=WqP45Iyvd3o 这里的讲者是Analyzing Inverse Problems with Invertible Neural Networks的作者。这文章很适合入门了解INN的概念。

https://www.youtube.com/watch?v=IpbeIwSr7r0 这个是比较综述的，涉及很多文章的内容。其中，我觉得比较值得细看的是 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION，DENSITY ESTIMATION USING REAL NVP。

 

BPP

另外，在NICE文章中，我看的时候并不知道bits per pixel（bpp）是什么。一查才知道这是评价generative model很重要的指标。详细描述在这篇文章的3.1: A NOTE ON THE EVALUATION OF GENERATIVE MODELS https://arxiv.or

最低0.47元/天 解锁文章
UeFan
关注
专栏目录
net2net:使用条件可逆神经网络进行网络到网络的转换
05-14
网2网 NeurIPS 2020口头报告随附的代码 *，*，*平等贡献 tl; dr我们的方法提取了一个模型相对于另一个模型的残差信息，从而可以在固定的现成专家模型（例如BERT和BigGAN）之间进行转换，而无需修改或微调它们。 | | 2020年12月19日新闻：添加了SBERT到BigGAN，SBERT到BigBiGAN和SBERT到AE（COCO） 要求 合适的指定的环境net2net可以创建和激活： conda env create -f environment.yaml conda activate net2net 数据集 CelebA ：创建一个符号链接“ data / CelebA”，指向包含以下文件的文件夹： . ├── identity_CelebA.txt ├── img_align_celeba ├── list_attr_celeba.txt └──
可逆神经网络顶级会议论文汇总（2019-2021）
u014546828的博客
10-28 2544
2019 iccv Hiding Video in Audio via Reversible Generative Models Hyukryul Yang, Hao Ouyang, Vladlen Koltun, Qifeng Chen [pdf] [bibtex] Back 2021 cvpr ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows Jie An, Siyu Huang, ...
探索神秘的可逆神经网络：InvertibleNetworks.jl
gitblog_00020的博客
06-13 375
探索神秘的可逆神经网络：InvertibleNetworks.jl InvertibleNetworks.jl A Julia framework for invertible neural networks 项目地址: https://gitcode.com/g...
可逆网络 推荐博客/论文汇总
u014546828的博客
09-23 1423
1. 细水长flow之NICE：流模型的基本概念与实现 细水长flow之NICE：流模型的基本概念与实现 - 知乎 NICE: Non-linear Independent Components Estimationhttps://arxiv.org/pdf/1410.8516v3.pdf 2. RealNVP与Glow：流模型的传承与升华 RealNVP与Glow：流模型的传承与升华 - 知乎 原文链接： Density estimation using Real NVPhttps://arx
可逆神经网络的研究及其在图像中应用
qq_44111805的博客
03-11 6535
可逆神经网络(INN)自被提出以来，就受到了广泛关注。由于其双射构造和高效可逆性，INN被用于各种推理任务，如图像隐藏、图像重缩放、图像着色、图像压缩和视频超分辨率等等。本文针对最新关于INN在图像方面应用的文献进行介绍，包括每篇文献的基本原理和个人理解。最后对所介绍的文献进行总结，指出各自的优缺点并对未来INN在图像方面应用展开思考。
可逆神经网络 Invertible neural networks
aixiaomi123的博客
03-06 1643
可逆神经网络（Invertible Neural Networks，INVNs）是一种特殊类型的神经网络结构，其主要特点是可以实现输入到输出的双向映射，并且具有可逆性质。在可逆神经网络中，每个输入都可以唯一对应一个输出，同时每个输出也可以唯一对应一个输入，这种性质使得网络的反向传播和梯度计算更加高效和可靠。由于可逆神经网络可以实现输入到输出的双向映射，因此在这些任务中能够更好地实现数据的重构、还原和保持信息的完整性。INN被用于各种推理任务，如图像隐藏、图像重缩放、图像着色、和视频超分辨率等等。
【互信息驱动：可逆神经网络】
weixin_43690932的博客
12-26 2040
仅供自己参考
tf-invertible-resnet:可逆残差网络的TensorFlow实现
05-04
TensorFlow中的可逆残差网络TensorFlow实现，这是一个残差网络系列，可以通过对其残差块的Lipschitz常数实施强制使其变为可逆状态。安装首先，我们需要使用virtualenv创建我们的Python 3.6虚拟环境，并安装存储在...
invertible-resnet:可逆残差网络的官方代码
05-12
可逆残差网络 i-ResNets的Pytorch正式实施。 i-ResNets定义了一系列完全可逆的深层网络，它是通过限制标准残差网络块的Lipschitz常数而构建的。 参考：Jens Behrmann *，Will Grathwohl *，Ricky TQ Chen，David ...
多图像信息隐藏pdf-DeepMIH: Deep Invertible Network for Multiple Image
08-08
DeepMIH的核心是可逆隐藏神经网络（IHNN），这是一个创新的设计，它将图像的隐藏和揭示过程建模为前向和后向过程，这两个过程是完全耦合且可逆的。这意味着可以隐藏和恢复图像而不牺牲原始图像的质量。IHNN的灵活性...
Invertible-ISP:[CVPR2021]可逆图像信号处理
03-25
可逆图像信号处理该存储库将包含“可逆图像信号处理（CVPR2021）”的代码抽象的未经处理的RAW数据是用于图像编辑和计算机视觉的非常有价值的图像格式。 但是，由于RAW数据的文件大小很大，因此大多数用户只能访问已...
neural_parts:“神经零件代码”
03-19
神经零件：使用可逆神经网络学习富有表现力的3D形状抽象 该存储库包含CVPR 2021论文《富有随附的代码。 您可以在下面找到有关训练自己的模型和使用我们的预训练模型的详细使用说明。 如果您发现这项工作对您的研究有...
【基于Transformer和可逆神经网络】
weixin_43690932的博客
12-22 3180
仅供自己参考
内存高效的可逆 GAN 网络：Reversible GANs for Memory-efficient Image-to-Image Translation
u014546828的博客
10-04 1273
Reversible GANs for Memory-efficient Image-to-Image Translation [pdf] 目录 Abstract Introduction Background and Related Work Method Abstract The Pix2pix [17] and CycleGAN [40] losses have vastly improved the qualitative and quantitative visua.
基于可逆神经网络的图像隐藏技术 (ICCV 2021) - HiNet: Deep Image Hiding by Invertible Network
10-24 487
在 [5] 中，通过对秘密图像像素的排列来提高隐藏的安全性。然而，所有这些方法都采用了两个子网络来进行图像隐藏：隐藏网络将秘密图像 隐藏成覆盖图像来生成一个隐写图像 和揭示网络恢复从 恢复秘密图像，如图 1(a) 所示，隐藏和揭示网络有两种参数，这是通过简单连接实现。为了验证方法的有效性，将其与几种最先进的 (SOTA) 图像隐藏方法进行了比较，包括一种传统的图像隐藏方法 4bit-LSB，以及三种基于深度学习的方法：HiDDeN[41]、Weng et al. [32] 和Baluja[5]。
可逆神经网络（Invertible Neural Networks）详细解析：让神经网络更加轻量化
Paper weekly
04-05 6082
©作者 |初识CV单位 |海康威视研究方向 |计算机视觉前言本文以可逆残差网络（The Reversible Residual Network: Backpropagation Without Storing Activations）作为基础进行分析。为什么要用可逆网络呢？因为编码和解码使用相同的参数，所以 model 是轻量级的。可逆的降噪网络 InvDN 只有 ...
信息隐藏| HiNet: Deep Image Hiding by Invertible Network
qq_44654715的博客
10-20 1487
关键词：图像隐藏、可逆神经网络INN
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3243
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
写一段基于pytorch的可逆神经网络用来进行点云的特征提取和坐标回归代码
最新发布
09-14
基于PyTorch的可逆神经网络（Invertible Neural Network, INN）是一种设计成可以精确地逆向其操作的网络。这意味着对于每个输出，网络都能够推断出一个唯一的输入。在点云特征提取和坐标回归的任务中，使用INN可以有助于模型学习更加精准的特征表达和坐标变换。 以下是一个简化的例子，用于演示如何构建一个基本的可逆神经网络结构，该结构包含可逆层，用于点云数据的特征提取和坐标回归。请注意，这里仅提供一个基本的框架，具体实现可能需要根据你的任务和数据进行调整。 ```python import torch import torch.nn as nn import torch.nn.functional as F class InvertibleBlock(nn.Module): """ 可逆网络层的基本块，假设输入输出维度相等。 """ def __init__(self, dim): super(InvertibleBlock, self).__init__() self.dim = dim # 初始化可逆层中的权重，例如可以使用1x1卷积、可逆矩阵等 self.weight_matrix = nn.Parameter(torch.randn(dim, dim)) def forward(self, x): """ 正向传播，计算输出。 """ # 这里使用了简单的线性变换作为示例，实际应用中应替换为可逆操作 y = torch.matmul(x, self.weight_matrix) return y def inverse(self, y): """ 反向传播，计算输入。 """ # 使用相同的权重矩阵进行反向操作，实际应用中应确保可逆操作的反向一致性 x = torch.matmul(y, torch.inverse(self.weight_matrix)) return x class InvertiblePointNet(nn.Module): """ 点云特征提取和坐标回归的可逆神经网络。 """ def __init__(self): super(InvertiblePointNet, self).__init__() self.invertible_block = InvertibleBlock(dim=3) # 假设点云数据是3维的 # 其他的可逆层或网络结构可以在这里添加 def forward(self, points): """ 对点云数据进行特征提取和坐标回归的正向操作。 """ # 通过一个或多个可逆层进行特征提取和变换 transformed_points = self.invertible_block(points) # 可以添加更多的处理步骤，例如特征提取、聚合等 # 这里简化为直接返回变换后的点云 return transformed_points def inverse(self, transformed_points): """ 根据变换后的点云数据进行反向操作，恢复原始坐标。 """ # 通过相同的可逆层进行坐标恢复 original_points = self.invertible_block.inverse(transformed_points) # 其他的反向操作可以在这里添加 # 这里简化为直接返回恢复后的点云 return original_points # 假设我们有一些点云数据 points = torch.randn(10, 3) # 10个点，每个点3个坐标值 # 创建并使用网络 model = InvertiblePointNet() transformed_points = model(points) original_points = model.inverse(transformed_points) # 确认逆过程是否可以恢复原始数据 assert torch.allclose(points, original_points) ``` 这段代码展示了一个非常基础的可逆神经网络结构，其中包括了一个可逆层的基本块（`InvertibleBlock`）和一个点云处理的网络（`InvertiblePointNet`）。在实际应用中，你可能需要实现更复杂的可逆层，比如基于耦合层（Coupling Layers）的结构，并添加更多的网络层来处理特征提取和点云数据。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值