Stable Diffusion的结构要被淘汰了吗？详细解读谷歌最新大杀器VideoPoet

最新推荐文章于 2024-09-12 09:39:47 发布
最新推荐文章于 2024-09-12 09:39:47 发布
阅读量2k 收藏 12
点赞数 14
分类专栏： Diffusion Models与深度学习 文章标签： stable diffusion 计算机视觉 视频生成 谷歌
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/135211141
版权
谷歌的VideoPoet模型采用仅解码器架构，革新视频生成领域。通过多模态输入处理图像、视频、文本和音频，使用tokenizer联合优化及超分辨率模块，展示了在长视频生成和下游任务的强大性能。预训练和微调策略使其在视频质量和多样性上取得显著进步。
摘要由CSDN通过智能技术生成

Diffusion Models视频生成-博客汇总

前言：视频生成领域长期被Stable Diffusion统治，大部分的方式都是在预训练的图片Stable Diffusion的基础上加入时间层，学习动态信息。虽然有CoDi《【NeurIPS 2023】多模态联合视频生成大模型CoDi》等模型尝试过突破这一结构的局限，但是都没有对业界带来特别有影响力的工作。最近谷歌出手了，拿出了Decoder-Only结构视频生成模型，堪称王炸！华为曾经出过Decoder-Only的模型(还被群嘲过)，但是事实逐渐证明这种能够把文本、音频、视频等各种模态通过编码成tokens组合在一起是多么具有想象力的事情！明年的ChatGPT-5也会是这样的形态吗？

目录

贡献概述

方法详解

整体结构

主要流程

tokenizer联合优化

图像和视频联合tokenizer优化方法

长视频生成

音频tokenizer

模型backbone

超分模块

下游任务实现

两阶段预训练策略

微调阶段

论文和代码

了解本专栏 订阅专栏 解锁全文 超级会员免费看
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
程序员光剑
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
Stable Diffusion模型越大越好吗？一篇文帮你解决内存和磁盘！
2401_84760322的博客
07-17 973
如果你经常使用 Stable Diffusion 绘图，是否注意到很多大模型文件的大小各有不同，有2G的、4G的、还有8G的，这些模型占用了大量的磁盘空间，特别是租用云服务器的有限免费空间；有些模型的作者或者使用者会说模型文件越大越好，越大出图越精细，真的是这样吗？这里边有没有什么科技与狠活呢？本文先给大家介绍一个给模型瘦身的方法，将那些4G、5G、8G的模型文件缩减到2G左右，然后对比下原模型与新模型的图片生成效果，最后再讲讲其中的原理。真正能拯救大家的内存和磁盘哦！安装插件。
Stable Diffusion模型越大越好吗？快来拯救你的内存和磁盘
mate1357的博客
05-25 852
如果你经常使用 Stable Diffusion 绘图，是否注意到很多大模型文件的大小各有不同，有2G的、4G的、还有8G的，这些模型占用了大量的磁盘空间，特别是租用云服务器的有限免费空间；有些模型的作者或者使用者会说模型文件越大越好，越大出图越精细，真的是这样吗？这里边有没有什么科技与狠活呢？本文先给大家介绍一个给模型瘦身的方法，将那些4G、5G、8G的模型文件缩减到2G左右，然后对比下原模型与新模型的图片生成效果，最后再讲讲其中的原理。真正能拯救大家的内存和磁盘哦！
Stable Diffusion1.5网络结构-超详细原创
xd_wjc的博客
11-16 1万+
Stable Diffusion1.5网络结构
什么是Stable Diffusion？如何安装Stable Diffusion？
2401_84760719的博客
08-09 1035
Stable Diffusion秋叶整合包，一键安装Stable Diffusion，门槛极低，完全免费，支持Nvidia全系列显卡。来自B站up主秋葉aaaki近期推出的Stable Diffusion整合包v4.6版本，能够让零基础用户轻松在本地部署Stable Diffusion，适合希望使用AI绘画的朋友。
万字长文：Stable Diffusion 保姆级教程
略懂……略懂……
03-10 9万+
万字长文，超详细一步一步教你在本地部署运行当下超火的Stable Diffusion模型，生成各种风格图像。
Stable Diffusion 本地部署教程
热门推荐
ellija的博客
03-25 20万+
最近看Stable Diffusion开源了，据说比Disco Diffusion更快，于是从git上拉取了项目尝试本地部署了，记录分享一下过程~这里是官网介绍：https://stability.ai/blog/stable-diffusion-public-release。
一文读懂Stable Diffusion 论文原理+代码超详细解读
u013250861的博客
10-25 2291
这里引入一个新的encoder �� （这个是用于条件编码的encoder，和上面提到的用于降维的是不同的）来将条件 � 映射到 ��(�)∈��×�� ，然后 ��(�)∈��×�� 通过cross-attention layer 映射到UNet 的中间层。这里， ��(��) 是UNet �� 的中间层表示， ��(�)∈��×��� ， ��(�)∈��×��&��(�)∈��×��。LDM公式中 �� 是从encoder � 获取到的 �� 的低维表达，LDM的UNet只需要预测低维空间噪声。
万字长文解读Stable Diffusion的核心插件—ControlNet
xian0710830114的专栏
04-14 2万+
ControlNet在大型预训练扩散模型（Stable Diffusion）的基础上实现了更多的输入条件，如边缘映射、分割映射和关键点等图片加上文字作为Prompt生成新的图片，同时也是stable-diffusion-webui的重要插件。ControlNet因为使用了冻结参数的Stable Diffusion和零卷积，使得即使使用个人电脑在小的数据集上fine-tuning效果也不会下降，从而实现了以端到端方式学习特定任务的条件目的。
AI绘画教程：如何在stable diffusion中生成高清大图？
05-29
"AI绘画教程：高清大图生成技术" AI绘画教程中，stable diffusion是一种常用的绘画算法，但默认情况下生成的图片尺寸较小，仅有512*512像素，图像质量一般。为生成高清大图，有两种方法可供选择。 第一种方法是在...
基于 ROS 的Terraform托管服务轻松部署Stable Diffusion
最新发布
AliCloudROS的博客
09-12 839
Stable Diffusion是文本到图像的生成模型，ROS服务借助 Infrastructure as Code 理念，通过Terraform模板实现该模型在阿里云的快速自动化部署，提升效率与稳定性，简化云资源及应用部署流程。
利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)
m0_66628975的博客
09-07 2742
Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务，帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持，用户无需管理底层的服务器和环境，即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。SageMaker 提供了灵活的开发环境，支持多种常用的机器学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自定义的算法和模型。
Stable Diffusion绘画 | ControlNet应用-Inpaint(局部重绘)：更完美的重绘
Leo-Fighting的博客
09-06 643
Inpaint(局部重绘) 相当于，不但可以进行局部画面的修改，还可以去除背景中多余的内容，或者是四周画面内容的扩充。
Stable diffusion生图原理
落霞与孤鹜齐飞，秋水共长天一色。
09-06 1070
最详细的Stable diffusion原理，sd工作原理，参考文章https://stable-diffusion-art.com/how-stable-diffusion-work/
计算机视觉 第七章图像搜索
qq_53034510的博客
09-10 647
这里，对图像进行索引就是从这些图像中 提取描述子，利用词汇将描述子转换成视觉单词，并保存视觉单词及对应图像的单词 直方图。这里，我们用BoW 来表示整个图像，不过这里介绍的过程是通用的，可以应用 于寻找相似的物体、相似的脸、相似的颜色等，它完全取决于图像及所用的描述子。通常，数据集（或语料 库）中一个单词的重要性与它在文档中出现的次数成正比，而与它在语料库中出现 的次数成反比。imlist包含的是图像的文件名，运行下面的代码，可以得到每幅 图像提取出的描述子，并将每幅图像的描述子保存在一个文件中。
[数据集][目标检测]百事可乐可口可乐瓶子检测数据集VOC+YOLO格式195张2类别
FL1623863129的博客
09-09 619
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:["bskl","kkkl"]图片数量(jpg文件个数)：195。标注数量(xml文件个数)：195。标注数量(txt文件个数)：195。使用标注工具：labelImg。标注规则：对类别进行画矩形框。bskl 框数 = 214。
Opencv实现提取卡号（数字识别）
2401_84670644的博客
09-03 1859
接下来，你可能会想要使用这些数字模板与输入图像中的数字进行匹配，以确定输入图像中每个数字的具体值。这通常涉及到模板匹配技术，如使用。库来解析命令行输入，确保用户提供了输入图像和模板图像的路径。函数读取模板图像的路径，并显示原始图像。自定义的myutils库。
[数据集][目标检测]血细胞检测数据集VOC+YOLO格式2757张4类别
FL1623863129的博客
09-08 701
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["Platelets","RBC","WBC","sickle cell"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：2757。标注数量(xml文件个数)：2757。标注数量(txt文件个数)：2757。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
stable diffusion需要什么样的配置？
06-11
Stable Diffusion（稳定扩散）是一个基于梯度反向传播的优化算法，适用于深度神经网络中的优化问题。它主要需要以下几个配置： 1. Diffusion Timesteps（扩散时间步数）：即在每个优化步骤中，应用稳定扩散的时间步数。通常情况下，该值在10到100之间选择。 2. Clip Norm（裁剪范数）：为了防止梯度爆炸或梯度消失，一般需要对梯度进行裁剪。Clip Norm指定了一个梯度的上限范数，超过这个范数的梯度将被裁剪。 3. Noise Scale（噪声比例）：为了防止优化算法陷入局部最优解，稳定扩散会引入一些随机噪声。Noise Scale指定了噪声的比例大小。 4. Step Size（学习率）：Step Size指定了每个优化步骤中的学习率大小。 以上就是稳定扩散需要的主要配置。当然还有其他一些辅助配置，例如初始权重范围、学习率衰减策略等。
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值