多模态论文笔记——VQ-VAE和VQ-VAE-2

已于 2024-12-29 23:59:24 修改
阅读量2.3k 收藏 30
点赞数 35
分类专栏： AIGC—图像 多模态论文笔记 文章标签： 深度学习 笔记 人工智能 计算机视觉 VAE vqvae aigc
于 2024-12-21 09:24:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haopinglianlian/article/details/144624499
版权

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。

在这里插入图片描述

文章目录

AE和VAE

参考：深度学习——AE、VAE

VQ-VAE

论文：Neural Discrete Representation Learning

VQ-VAE（Vector Quantized Variational AutoEncoder，向量量化变分自编码器） 主要是将连续潜在空间的点映射到最近的一组离散的向量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多模态论文笔记——U-ViT（国内版DiT）
haopinglianlian的博客
01-05 1904
本文详细介绍U-ViT的模型架构和实验细节，虽然没有后续的DiT在AIGC领域火爆，但为后来的研究奠定了基础，但其开创性的探索值得学习。
Paper - VQVAE-2 多尺度分层结构的 VQ-VAE 模型
AGI
02-03 1987
VQ-VAE-2，即向量量化变分自编码器（VQ-VAE) 的第2版。VQ-VAE 利用离散的隐变量，来近似连续的潜在分布，有效地压缩图像信息，结合自回归的先验来重建或生成图像。VQ-VAE-2提出一种多尺度的分层结构的VQ-VAE模型，在不同的分辨率上对图像进行编码和解码，提高图像的一致性和保真度。同时，引入一种基于PixelCNN的强大的先验，可以在压缩的隐空间中对隐变量进行建模，从而增加了生成图像的多样性和质量。
万字长文解读深度学习——VQ-VAE和VQ-VAE-2
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
12-04 2780
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
【深度学习】走向VQ-VAE模型
最新发布
weixin_62403234的博客
03-19 1226
有监督任务（Supervised Tasks）的数据包含输入特征和对应的标签（目标值），模型学习从输入到输出的映射关系，典型任务有分类、回归、序列标注等。无监督任务（Unsupervised Tasks） 的数据仅包含输入特征，无标签，模型从数据中发现隐藏结构或模式， 典型任务有聚类、降维、特征学习、密度估计等。将数据分组为相似的子集（簇），比如客户分群，输入为用户行为数据，输出为高价值用户、普通用户等群组。具体算法有K-means、层次聚类、DBSCAN。减少数据维度，保留重要信息。
VQ-VAE-2
weixin_38858621的博客
04-01 5007
原文链接：Generating Diverse High-Fidelity Images with VQ-VAE-2 加载速度慢点这里：中科院镜像 由于科研需要，最近在学习图像生成相关的文献知识，VQ-VAE-2是我目前了解到的比较新的生成模型，一开始搜索到的其实是PixelCNN，然后发现它是16年的工作，然后继续搜索相关工作，在Google DeepMind找到了VQ-VAE-2，由此发现了一...
VQ-VAE-2: Deepmind论文解读
鲜橙的思维空间
07-16 3606
根据科技媒体的报道，最近deepmind的新模型VQ-VAE-2的生成效果甚至超过了BigGAN，作为生成模型的初学者，我知道GAN，知道AE和VAE，但是却对这篇文章的VQ没有了解。“这会是一种新的生成模型吗”—这个问题使我想一探究竟。 效果图 容我先放几张模型生成的图片来吸引读者的阅读兴趣。你相信这些人脸只是模型臆想出来的吗，这么优美的图像细节到底是如何产生的呢 模型架构 让我们先从一个高层...
探索图像生成的新境界：VQ-VAE-2开源实现
gitblog_00012的博客
06-19 526
探索图像生成的新境界：VQ-VAE-2开源实现 项目地址:https://gitcode.com/gh_mirrors/vq/vqvae-2 在这个数字时代，人工智能正在逐步改变我们对艺术和设计的理解。随着深度学习技术的飞速发展，生成高保真、多样性的图像已不再是遥不可及的梦想。今天，我们要向你推荐一个基于PyTorch的开源项目——VQ-VAE-2，它是一个高效且灵活的工具，用于生成多样而逼真的图...
在PyTorch中使用VQ-VAE-2生成各种高保真图像的实现-Python开发
05-25
vq-vae-2-pytorch在PyTorch中使用VQ-VAE-2生成各种高保真图像的实现必需的Python> = 3.6 PyTorch> = 1.1 lmdb（用于存储提取的代码）VQ-VAE pretra vq-vae-2的检查点-pytorch在PyTorch更新2020-06-01中使用VQ-VAE-2生成各种高保真图像的实现现在支持分布式训练。train_vqvae.py和vqvae.py现在支持分布式训练。 您可以对train_vqvae.py使用--n_gpu [NUM_GPUS]个参数在训练期间使用[NUM_GPUS]。 必需的Python> = 3.6 PyTorch> = 1.1 lmdb（用于存储提取的代码）在FFHQ上预先训练的VQ-VAE的检查点用法当前支持256px（顶部/底部优先级）Stage 1（VQ-VAE）python train_v
（2019|NIPS，VQ-VAE2，分层量化，潜在先验调节）使用 VQ-VAE2 生成多样化的高保真图像
qq_44681809的博客
01-10 1440
本文使用多尺度分层结构改进 VQ-VAE，其只需要在压缩的潜在空间中进行采样，比在像素空间中采样快，特别是对于大图像。还对 VQ-VAE 使用的自回归先验进行了缩放和增强，以提高生成一致性和保真度。
生成式多模态之AE DAE/MAE VAE VQ-VAE/VQ-VAE2
qq_35215756的博客
07-20 1114
在VAE中，编码器仍然将输入数据映射到一个低维潜在空间，但是与潜在空间中的单个点不同，编码器生成潜在空间上的概率分布。（Variational Auto-Encoder）就是借助了encoder-decoder的结构去做生成，和AE最主要的区别就是不再去学习中间的bottleneck特征了，而是引入概率框架来生成输入数据的压缩表示，去学习一种分布。是一种瓶颈架构（ bottleneck），它使用编码器将高维输入x 转换为潜在的低维Code h，然后使用解码器将潜在Code h进行重构，得到最终的输出x’。
AIGC实战——VQ-GAN(Vector Quantized Generative Adversarial Network)
热门推荐
盼小辉丶的博客
04-17 1万+
在 VQ-GAN 模型中，将几种不同类型的生成模型进行有效地组合，VQ-GAN 通过额外的对抗损失项鼓励 VAE 生成更清晰的图像。使用自回归T ransformer 构建了一系列能够由 VAE 解码器解码的编码符号。ViT VQ-GAN 进一步扩展了这一思想，将 VQ-GAN 的卷积编码器和解码器替换为 Transformers。
Python-在PyTorch中使用VQVAE2生成多种高保真图像的实现
08-10
在PyTorch中使用VQ-VAE-2生成多种高保真图像的实现
【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning
zik的博客
04-26 2154
基于神经网络的，离散的表征学习本篇博客主要介绍VQVAE，将VQ的思想引入VAE中，在隐空间进行生成，代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。Vector Quantised Variational AutoEncoder (VQ-VAE)矢量量化变分自编码器。本篇博客首先梳理论文的关键点，之后另一篇博客分析VQVAE的代码。ELBO，全称为 Evidence Lower Bound，即证据下界。
探索生成多样高保真图像的利器：VQ-VAE-2 PyTorch实现
gitblog_01005的博客
10-10 362
探索生成多样高保真图像的利器：VQ-VAE-2 PyTorch实现 vq-vae-2-pytorch Implementation of Generating Diverse High-Fidelity Images with VQ-VAE-2 in PyTorch ...
VQ-VAE-2 PyTorch实现教程
gitblog_01019的博客
10-11 1019
VQ-VAE-2 PyTorch实现教程 vq-vae-2-pytorch Implementation of Generating Diverse High-Fidelity Images with VQ-VAE-2 in PyTorch ...
VQ-VAE
陈泊舟的博客
07-04 607
文章转自个人服务器：http://bbit.vip/service/main.php?version=2&type=article&id=16i82D50b2wBH42ONHo4f5Pkf9
【VQ-VAE-2论文精读】Generating Diverse High-Fidelity Images with VQ-VAE-2
zik的博客
04-29 2251
发表于2019年的NeurIPS。VQVAE的重要性就不谈了，学习latent diffusion model必须得了解这个。NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。
探索深度学习之美：VQ-VAE 2 PyTorch 实现详解
gitblog_00020的博客
04-25 1218
探索深度学习之美：VQ-VAE 2 PyTorch 实现详解 项目地址:https://gitcode.com/gh_mirrors/vq/vq-vae-2-pytorch 该项目（<>）是一个基于 PyTorch 的 VQ-VAE 2（Vector Quantized Variational Autoencoder Version 2）实现，由 rosinality 开发并维护。VQ...
【论文译文】VQVAE
a312863063的博客
09-08 1766
译文仅供参考！ 原文是pdf，想下载的话可以戳：http://www.gwylab.com/pdf/vqvae_chs.pdf
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值