CogView阅读笔记【文生图模型】

已于 2024-02-04 17:53:22 修改
阅读量510 收藏 7
点赞数 7
分类专栏： 论文阅读 文章标签： 笔记 人工智能 计算机视觉 深度学习 AIGC
于 2024-01-25 11:42:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43854103/article/details/135617963
版权

笔记目录

1. 基本信息

  • 题目：CogView: Mastering Text-to-Image Generation via Transformers
  • 时间：2021.11
  • 发表：NIPS 2021
  • 机构：清华，达摩院，智源研究院
  • 作者：ming等
  • 链接直达：github/paper/project
  • 关键词：AIGC，text to image，VQVAE
  • 概括：使用VQVAE，得到image的tokens，以及SentencePiece得到的text的tokens，输入到Transformer中训练。
  • 摘要翻译：长期以来，一般领域的文本到图像生成一直是一个悬而未决的问题，这需要强大的生成模型和跨模态理解。我们提出了 CogView，一个具有 VQ-VAE 分词器的 40 亿参数 Transformer 来解决这个问题。我们还演示了各种下游任务的微调策略，例如风格学习、超分辨率、文本图像排名和时装设计，以及稳定预训练的方法，例如消除 NaN 损失。CogView 在模糊的 MS COCO 数据集上实现了最先进的 FID，优于以前基于 GAN 的模型和最近的类似工作 DALL-E。

2. 理解（个人初步理解，随时更改）

  1. 干了一件什么事：文生图模型。
  2. CogView的pipeline（如图）：
    请添加图片描述

3. 精读（暂无）

参考文献

  1. https:/
传说故事
关注
专栏目录
(1-2)文生图大模型基础：文生图的定义与应用
码农三叔
08-09 910
文生图（Text-to-Image）是一种基于深度学习的大模型技术，通过解析和理解输入的文本描述，生成与之对应的图像。这项技术广泛应用于创意设计、广告制作、游戏开发、虚拟现实和辅助医疗等领域，不仅能提高生产效率，还能激发创作者的灵感，推动视觉内容生成的自动化和智能化。文生图模型的应用前景广阔，有望在未来改变视觉创作和内容生成的方式。
（3-3）文生图模型架构：生成对抗网络（GAN）
最新发布
码农三叔
08-13 776
WGAN（Wasserstein GAN）通过引入Wasserstein距离（也称为Earth Mover's Distance）来改善传统GAN的训练稳定性，WGAN不使用传统的二元交叉熵损失，而是通过最小化生成样本与真实样本之间的Wasserstein距离来指导模型的优化。GAN通过生成器和判别器的对抗训练，使生成器能够生成以假乱真的图像，而判别器则负责区分生成的图像与真实图像。GAN在图像生成领域有广泛的应用，凭借其强大的生成能力，可以在多个任务中生成高质量、逼真的图像。
Text to image论文精读CogView: Mastering Text-to-Image Generation via Transformers(通过Transformer控制文本生成图像)
白洞，白色的明天在等着我们
03-06 8739
CogView是清华大学和阿里巴巴达摩院共同研究开发的一款，用Transformer来控制文本生成图像的模型。文章发表于2021年10月。 论文地址：https://arxiv.org/pdf/2105.13290v3.pdf 代码地址：https://github.com/THUDM/CogView
＜Python＞基于智谱AI图像大模型的图像生成程序(CogView)
用沸腾的热血，支付我们的人生吧！
01-18 1929
图片显示的实现，首先是使用requests去获取在线图片的数据，对于返回的图片元数据，我们使用Pillow库进行处理，最终将其转为QPixmap数据类型，这样就可以在Qlabel中显示。本文是基于智谱AI大模型的图像生成模型CogView，使用PyQt5搭建自定义UI界面，CogView接口根据输入的提示词生成图片，然后将图片显示，并且可以保存到本地。在函数mm2中，我们将子线程传过来的图片网址URL显示在一个标签上，并且给标签设置了超链接，这样我们可以直接点击标签的网址，就可以在浏览器打开生成的图片。
【LLM多模态】Cogview3模型原理和训练过程
发现问题，并解决问题，批判性思维
07-18 1278
# note - 基础阶段：生成512×512分辨率的图像，优化模型以生成高质量的图像。 - 超分辨率阶段：从512×512的输入生成1024×1024分辨率的图像，进一步优化图像的细节和清晰度。 - 蒸馏版本：通过减少采样步骤，生成与原始模型相似质量的图像，但推理时间大大减少。 @[toc] # 一、Cogview3模型 论文：CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion 相关背景：
跑通CogView教程
tt丫的博客
07-31 2243
​ 一、代码下载 二、环境配置 三、下载 image tokenizer——vqvae_hard_biggerset_011.pt 四、下载模型 五、准备input的文字 六、运行 七、结果 一、代码下载 GitHub - THUDM/CogView: Text-to-Image generation. The repo for NeurIPS 2021 paper "CogView: Mastering Text-to-Image Generation via Transformer
CogView: Mastering Text-to-Image Generation via Transformers翻译
nopSled
10-11 5251
摘要 通用领域中的 Text-to-Image 生成长期以来一直是一个开放的问题，它需要强大的生成模型和跨模态理解。 我们提出了 CogView，一个 40 亿参数的 Transformer，带有 VQ-VAE tokenizer来解决这个问题。 我们展示了其在各种下游任务的微调策略，例如 风格学习、超分辨率、文本图像排名和时装设计，并且还提出了稳定预训练的方法，例如。 消除 NaN 损失。CogView（zero-shot）在模糊 MS COCO 上实现了新的最先进的 FID，优于以前的基于 GAN 的模
CogView：通过Transformer掌握文本到图像的生成
weixin_51697828的博客
12-19 1622
Ding,Ming,ZhuoyiYang,WenyiHong,WendiZheng,ChangZhou,DaYin,JunyangLin,XuZou,ZhouShao,HongxiaYangandJieTang.“CogView:MasteringText-to-ImageGenerationviaTransformers.”ArXivabs/2105.13290(2021). 1Abstract 通用领域的文本到图像的生成长期以来一直...
会讲故事的Cogview --- AI绘图
cogview的博客
02-10 1052
用Cogview 生成图片来讲故事，利用图片文字相结合的方式让故事更加生动形象
W.A.L.T阅读笔记【文生视频模型】
qq_43854103的博客
01-25 2097
李飞飞组，文生视频工作
(1-3)文生图大模型基础：文生图大模型的技术发展历程
码农三叔
08-09 413
生成的图像往往质量不高，缺乏真实感和多样性。早期的文生图模型主要依赖于传统的机器学习技术和基于规则的系统，这些模型的设计思路较为简单，通常使用预定义的规则和手工提取的特征来进行图像生成。尽管这些早期模型为文生图技术的发展奠定了基础，但它们在实际应用中面临诸多挑战，促使研究者们不断探索新的方法和技术，以提升文生图模型的生成能力和应用范围。近年来，随着计算能力的提升和大规模数据集的可用性，文生图大模型在生成质量、速度和多样性等方面不断进步，广泛应用于广告、艺术创作、游戏设计等多个领域，推动了创意产业的变革。
3-2+CogView：文本到图像生成预训练.zip
03-18
3-2+CogView：文本到图像生成预训练
AIGC 最强中文的文生图模型：Kolors 可图大模型、文生图、图生图使用
weixin_42357472的博客
07-13 667
版本一定要 diffusers (0.30.0.dev0)图生图（Image to Image）文生图（Text to Image）
深度学习系列40：cogview生成模型
kittyzc的博客
06-13 2166
开源地址见：https://github.com/THUDM/CogView demo地址：https://agc.platform.baai.ac.cn/CogView/index.html 特点：基于中文 效果展示如下。在生成人像时，四肢细节有时会有些问题。 在gpu机器上拉取镜像： 在pretrained/vqvae目录下，下载图像tokenizer：vqvae_hard_biggerset_011.pt： 在pretrained/cogview/下，从https://resource.wudaoai
（2024，CogView3，级联架构，中继扩散，超分辨率，线性模糊，蒸馏）通过中继扩散进行更精细、更快的文本到图像生成
qq_44681809的博客
03-14 1283
本文提出了 CogView3，这是一个使用中继的级联扩散框架：首先在基础阶段创建低分辨率图像，然后从基础阶段生成的结果开始扩散，通过中继进行超分辨率。
提升77%，推理时间降一半 | CogView3:最新SOTA文生图方案（清华&智谱AI）
AIGCer的博客
03-14 1411
扩散模型已经成为当今文本到图像生成系统的主流框架。与自回归模型和生成对抗网络的范式相比，扩散模型将图像合成任务概念化为一个多步去噪过程，从各向同性高斯噪声开始。随着训练数据量和神经网络计算成本的激增，扩散模型的框架在视觉生成领域已经取得了有效性，能够遵循用户指令并生成具有令人赞赏细节的图像。当前最先进的文本到图像扩散模型大多在单一阶段操作，在高分辨率图像上进行扩散过程，如1024×1024。对高分辨率图像进行直接建模会加剧推理成本，因为每个去噪步骤都是在高分辨率空间上执行的。
这个AI爆火！输入1句话，生成1段视频！清华提出CogVideo：最大的文本生成视频模型...
阿木寺的博客
06-08 3917
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群萧箫 发自 凹非寺转载自：量子位（QbitAI）一周不到，AI画师又“进阶”了，还是一个大跨步——直接1句话生成视频的那种。输入“一个下午在海滩上奔跑的女人”，立刻就蹦出一个4秒32帧的小片段：又或是输入“一颗燃烧的心”，就能看见一只被火焰包裹的心：这个最新的文本-...
避坑：教程：怎么运行CogView模型（text2image）
Zeus_M的博客
05-15 2028
把模型文件克隆下来，如果没有安装git可能要先安装 cd进入CogView目录（不一定是我写的这样） git clone https://github.com/THUDM/CogView.git cd Cogview 安装一些包 pip install deep_translator lmdb pip install -r CogView/requirements.txt 安装apex: git clone https://github.com/NVIDIA/apex cd a...
文生大模型比较firefly
08-13
文生大模型和Firefly是两个不同的技术框架或产品。文生大模型通常指的是来自阿里云的超大规模语言模型“通义千问”，它基于深度学习架构，能够理解和生成高质量文本，广泛应用于聊天、问答、创作等领域。 相比之下，Firefly则不是一个广为人知的技术术语或特定的大模型。如果Firefly是指某个特定的产品或技术，可能需要更详细的上下文才能准确比较。通常来说，大型预训练语言模型如通义千问相较于其他模型可能会有更强的语言理解能力和适应性，因为它们经过了大量的训练数据和复杂的模型结构优化。 如果你想了解两者在性能、功能或应用方面的详细对比，可能需要明确Firefly的具体含义，然后我可以给出专业的分析。如果你有关于文生大模型的问题，或者想了解更多关于这两个概念之间相似性和差异性的信息，可以提出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值