【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning

已于 2023-05-23 10:12:51 修改
阅读量2.1k 收藏 7
点赞数 5
分类专栏： 扩散模型CV与NLP从入门到项目实战 人脸相关前沿研究从入门到实战 文章标签： 深度学习 机器学习 人工智能 VQVAE 生成模型
于 2023-04-26 09:36:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/130349280
版权
本文介绍了VQ-VAE，一种将矢量量化思想引入变分自编码器的模型，用于学习离散潜在表征。VQ-VAE解决了VAE的后验坍塌问题，适用于图像、语音等模态的高质量生成。通过对比现有方法，VQ-VAE在离散表示学习中表现出优势，并在实验中展示了其在生成任务上的优秀性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning

0、前言

论文地址：基于神经网络的，离散的表征学习
代码地址：https://colab.research.google.com/github/zalandoresearch/pytorch-vq-vae/blob/master/vq-vae.ipynb

本篇博客主要介绍VQVAE，将VQ的思想引入VAE中，在隐空间进行生成，代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。
Vector Quantised Variational AutoEncoder (VQ-VAE)矢量量化变分自编码器。
本篇博客首先梳理论文的关键点，分析VQVAE的代码在这：【VQ-VAE代码实战】Neural Discrete Representation Learning。

了解本专栏 订阅专栏 解锁全文
Paper - Neural Discrete Representation Learning (VQ-VAE) 论文简读
AGI
10-23 699
VQ-VAE 是基于变分自编码器（VAE）的生成模型，可以学习离散的潜在表示。VQ-VAE 的主要创新是引入了一个向量量化（VQ）层，将连续的编码器，输出映射到离散的潜在空间。VQ 层由一组可学习的向量组成，称为代码本 (Coding Book)。
【VQ-VAE-2论文精读】Generating Diverse High-Fidelity Images with VQ-VAE-2
zik的博客
04-29 2263
发表于2019年的NeurIPS。VQVAE的重要性就不谈了，学习latent diffusion model必须得了解这个。NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。
VQ-VAE(Neural Discrete Representation Learning)论文解读及实现
weixin_42529756的博客
01-07 2877
VQ-VAE论文解读，及pytorch代码实现，区别于传统的VAE使用连续高斯分布表征隐特征，VQVAE使用离散特征表征隐特征，使用Vector Quantised方法构建离散特征码表
【深度学习】走向VQ-VAE模型
最新发布
weixin_62403234的博客
03-19 1264
有监督任务（Supervised Tasks）的数据包含输入特征和对应的标签（目标值），模型学习从输入到输出的映射关系，典型任务有分类、回归、序列标注等。无监督任务（Unsupervised Tasks） 的数据仅包含输入特征，无标签，模型从数据中发现隐藏结构或模式， 典型任务有聚类、降维、特征学习、密度估计等。将数据分组为相似的子集（簇），比如客户分群，输入为用户行为数据，输出为高价值用户、普通用户等群组。具体算法有K-means、层次聚类、DBSCAN。减少数据维度，保留重要信息。
【论文译文】VQVAE
a312863063的博客
09-08 1777
译文仅供参考！ 原文是pdf，想下载的话可以戳：http://www.gwylab.com/pdf/vqvae_chs.pdf
（表征学习论文阅读）FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE
loki2018的博客
04-03 2738
向量量化（Vector Quantization）或称为矢量量化最早在1984年由Gray提出，主要应用于数据压缩、检索领域，具体的阐述可以参考我写的另一篇关于VQ算法的文章。随着基于神经网络的离散表征学习模型的兴起，VQ技术也开始重新被重视。它在图像、音频等表征学习中体现出了优秀的性能，并且有希望成为多模态大语言模型的重要组件。在AI领域，最为知名应该是VQ-VAE（Vector Quantized-Variational Autoencoder）了，它的思想是将图像xxx映射为表征zk×d。
VQVAE：Neural Discrete Representation Learning
wulele2的博客
06-30 1165
发表时间：NIPS2017作者及组织：Aaron van den Oord,Oriol Vinyals和Koray Kavukcuoglu, 来自DeepMind。
【VQ-VAE代码实战】Neural Discrete Representation Learning
zik的博客
04-26 1455
基于神经网络的，离散的表征学习本篇博客主要分析一个开源的VQVAE代码，帮助更好的理解VQVAE。注意代码有所修改和注释，在正文中给出。代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning变分自动编码器 (VAEs) 可以被认为是神经网络除最后一层之外的所有功能，即特征提取或分离数据。
多模态论文笔记——VQ-VAE和VQ-VAE-2
haopinglianlian的博客
12-21 2387
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
生成模型 VQVAE:Neural Discrete Representation Learning
qq_53536373的博客
07-29 1330
VQ-VAE通过结合直通梯度估计和特定的损失函数，有效地解决了离散潜变量在训练中的梯度问题，并实现了对编码器、解码器和嵌入空间的联合优化。这种方法不仅避免了后验坍塌的问题，还能够在多种应用中生成高质量、连贯的样本。3.3 先验离散潜在变量 p(z) 上的先验分布是一种类别分布，并且可以通过依赖于特征图中的其他 z 来实现自回归。在训练 VQ-VAE 时，先验保持恒定且均匀。训练后，我们在 z 上拟合自回归分布 p(z)，以便我们可以通过ancestral sampling生成 x。
万字长文解读深度学习——VQ-VAE和VQ-VAE-2
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
12-04 2878
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
vq-vae-pytorch:VQ-VAE实施pytorch
05-16
VQ-VAE 这是VQ-VAE的轻量级（200 loc）实现。 用于减少计算到嵌入距离所需的内存。 引入了一个敏感度术语，以使所有嵌入都使用。 从距离到嵌入的时间减去了一段时间以来未使用的灵敏度。 在找到最小距离之前。 要求 Python 3.6 PyTorch 0.3 张量理解 训练 默认情况下，它在cifar10上训练 python vq-vae-img.py 编辑超级参数，源代码中的路径以在ImageNet上进行训练 我使用跟踪模型学习进度。 默认情况下它是关闭的，使用--lera启用它。 经过40k次迭代（K = 512，D = 128）后的ImageNet重建 执照 麻省理工学院
VQ-VAE_Keras_Implementation:矢量量化变分自动编码器（VQ-VAE）的Keras实现
05-25
VQ-VAE Keras实施 VQ-VAE（矢量量化变分自动编码器）的Keras实现 资料来源： 示例笔记本： 原始与重建 兼容性说明 该笔记本是在运行TensorFlow版本1.x的Google Colab计算机（GPU加速）上创建的 该笔记本电脑已在Google Colab机器（GPU加速）上使用TensorFlow 2.2.0版和Keras 2.3.1版进行了测试，并且在从调用tf.nn.embedding_lookup中删除参数validate_indices时可以使用（此参数已弃用）。 如果您对TensorFlow 2.x或更高版本的急切执行有疑问，则问题＃2可能会对您有所帮助。
Python-VQVAEimplementationpytorch
08-12
VQ-VAE implementation / pytorch
ss-vq-vae:自我监督的VQ-VAE，可进行一键式音乐风格转换
05-06
自我监督的VQ-VAE，可进行一键式音乐风格转换 这是OndřejCífka，Alexey Ozerov，UmutŞimşekli和GaëlRichard撰写的ICASSP 2021论文“一键式音乐风格转移的自我监督VQ-VAE”的代码存储库。 版权所有2020 InterDigital R＆D和TélécomParis。 链接 [ ] 带有音频示例的 （212 MB） 内容 src –主要代码库（ ss-vq-vae软件包）； 用pip install ./src ； 用法详细信息 data –用于数据准备的Jupyter笔记本（详细信息） experiments –模型配置，评估和其他实验内容 设置 pip install -r requirements.txt pip install ./src 用法 要训​​练模型，请进行experiments ，然后运行：
语音识别VQ实现代码
07-31
最全的语音识别系统VQ实现代码，用matlab实现的
通过代码学习 VQ-VAE
热门推荐
StreamRock的专栏
06-30 1万+
VQ-VAE（Vector Quantised Variational AutoEncoder，矢量量化变分自动编码）是【1】提出的一种离散化VAE方案，近来【2】应用VQ-VAE得到了媲美于BigGan的生成模型。由此可见， VQ-VAE 有着强大的潜力，且【1】和【2】皆为DeepMind的作品，让我们通过代码来认识它，学习它。 一、简介 光看论文一知半解，需要看看它的实现。我在GitHub中...
VQ-VAE（Vector Quantized Variational Autoencoder）代码详解及实现
m0_59156726的博客
07-30 1955
看这篇文章之前，希望能够熟知以下我写的一遍原理介绍，代码中的名称尽可能和原论文保持一致，如ze,z,zq这些名称等。理论不在重新介绍。同样仍然使用mnist数据集。
VAE论文解读及代码实现
weixin_28956031的博客
11-04 1710
1.Introduction Variational Autoencoders (VAEs) 是一种无监督学习复杂分布的方法，VAEs已经显示出产生多种复杂数据的潜力，包括手写数字，面部，门牌号码，CIFAR图像，场景的物理模型和分割以及从静态图像预测未来. 生成模型是机器学习一个很广泛的领域，求高维空间的X的分布P(x)，比如，图像就是一种可以创建生成模型的数据类型，每一幅图像都有成千上万的维度...
PyTorch实现VQ-VAE-2模型的深度解读
资源摘要信息:"vq-vae-2-pytorch-master是一个包含向量量化变分自编码器第二代版本（Vector Quantized-Variational AutoEncoder version 2, VQ-VAE-2）的Python库，这个库基于PyTorch框架实现，能够用于进行图像处理...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值