视频生成的路线之争：基于LLMs 和 基于SD 的技术路线孰优孰劣？

最新推荐文章于 2024-08-15 00:35:30 发布
最新推荐文章于 2024-08-15 00:35:30 发布
阅读量750 收藏 4
点赞数 3
分类专栏： Diffusion Models与深度学习 深度学习-计算机视觉 文章标签： stable diffusion 视频生成 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/135691673
版权
本文探讨了基于LLMs（语言模型）和基于SD（扩散模型）的视频生成技术，分析了VideoPoet的工作，该模型采用两阶段预训练策略，融合多模态输入。尽管LLMs在模态融合和长视频生成上有优势，但存在视频闪烁问题和tokenizer设计挑战。目前，LLMs技术路线尚未能完全替代SD，未来的发展仍需观察。
摘要由CSDN通过智能技术生成

Diffusion Models视频生成-博客汇总

前言：在 AI 领域，近年来各个子领域都逐渐向 transformer 架构靠拢，只有视觉生成领域一直以 diffusion 结构作为主流方向，但是近年来谷歌、Meta、华为等大厂都在尝试使用基于LLMs的结构完成视觉生成任务。相比于趋于成熟的图像生成任务，视频生成任务是当下最火爆最具探索意义的方向。那么视频生成的最终路线还会由SD统治吗？基于LLMs的技术路线是否能颠覆基于SD的技术方案？这两种技术方案各自有哪些优点和缺点？

目录

基于LLMs的视频生成原理

两阶段预训练

模型结构

下游任务实现

超分辨率生成

基于LLM的视频生成优点

基于LLM的视频生成缺点

基于LLMs的视频生成原理

以谷歌最新的工作VideoPoet为例：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 2418
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
Transformer + SD解析与实战——Datawhale AI视频生成学习2
weixin_46112284的博客
03-10 1065
图像通过编码器（Encoder）处理，生成一个压缩后的表示形式，称为latent表示，其空间维度被压缩为32x32x4。对于encoder和decoder的不同attention，处理的方式可能会不一样。对于encoder来说，不需要mask，可以看到所有的token，而Decoder是自回归，需要mask。页面体验：https://modelscope.cn/studios/iic/scepter_studio/summary。GAN在人脸上比较好，但是不稳定，模式坍塌，窄分布的效果很好（人脸、人体）。
深入浅出LLM大语言模型
xiangxueerfei的博客
06-18 776
LLM（large language model，LLM）大语言模型是在2018年左右出现的一种语言模型，由具有许多参数（通常数十亿个权重或更多）的人工神经网络组成，使用无监督学习对大量未标记语料进行预训练生成通用模型，然后再在不同特定任务下进行微调。LLM每个单词的释义如下：Large（大型）： 表示该模型具有大量的参数、大量的语料、复杂庞大的结构Language（语言）： 表示该模型用于NLP任务，可以处理和生成自然语言，如英语、中文等。
视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
热门推荐
结构之法 算法之道
02-18 4万+
真没想到，举例视频生成上一轮的集中爆发才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的Gemmi Pro 1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的解读，也引发了圈内外的大量关注，很多人因此认为，视频生成领域自此进入了大规模应用前夕，好比NLP领域中GPT3的发布一开始，我还自以为视频生成这玩意对于有场景的人，是重大利好，比如在影视行业的；
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
WordArt Designer：基于用户驱动与大语言模型的艺术字生成
孙佰贵的专栏
08-23 3217
本文介绍了一个基于用户驱动，依赖于大型语言模型(LLMs)的艺术字生成框架，WordArtDesigner。 该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由gpt-3.5turbo驱动的LLM引擎可以解释用户输入，并为其他模块生成可操作的提示，从而将抽象概念转化为有形的设计。SemTypo模块使用语义概念优化字体设计，在艺术转换和可读性之间取得平衡。在SemTypo模块提供的语义布局的基础上，StyTypo模块辅助生成平滑、精细的图像。Tex
LLMs之RAG/Long-Context：《检索增强生成还是长上下文LLMs？一项综合研究与混合方法Retrieval Augmented Generation or Long-Context LL
最新发布
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-15 1313
​ LLMs之RAG/Long-Context：《检索增强生成还是长上下文LLMs？一项综合研究与混合方法Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach》翻译与解读 目录 《Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hyb
MLM之RAG：探索基于LangChain和Redis的新多模态RAG模板实战
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-21 1918
​ MLM之RAG：探索基于LangChain和Redis的新多模态RAG模板实战 目录 相关文章 LLMs的限制与RAG的介绍 RAG的工作原理 文本和图像的多模态RAG Redis和LangChain的创新 使用指南 总结 相关文章 《Explore the new Multimodal RAG template from LangChain and Redis》 地址 地址：Explore Redis & LangChain's Multimodal
ALI-Agent: 基于智能体的LLMs对齐性评测
AITIME_HY的博客
07-03 937
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文围绕大语言模型（LLMs）的对齐问题展开，旨在解决当前模型在与人类价值观存在偏差时可能面对的风险。我们提出了ALI-Agent评估框架，利用LLM驱动的智能体(LLM-empowered agents) 进行全面且深入的对齐评估。代码：https://github.com/SophieZheng998/ALI-Agent.git论文地址...
基于大模型LLMs的智能文本+下一代对话式系统自动生成图表展示和dashboard、数据分析的BI系统（完整源码+说明）.zip
03-28
【资源说明】 1、该资源内项目代码都是经过测试运行成功，功能正常的情况下...基于大模型LLMs的智能文本SQL生成能力+数据可视化+下一代对话式系统自动生成图表展示和dashboard、数据分析的BI系统（源码+项目说明）.zip
基于大模型LLMs的智能文本SQL生成能力+可视化+对话式系统自动生成图表展示和dashboard、数据分析的BI系统.zip
03-17
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！...基于大模型LLMs的智能文本SQL生成能力+数据可视化+下一代对话式系统自动生成图表展示和dashboard、数据分析的BI系统（源码+项目说明）.zip
LLMs-入门四：基于LLaMA-Efficient-Tuning对LLMs做微调
10-07
json
Diffusion Models扩散模型与深度学习(数学原理和代码解读)
沉迷单车的追风少年
07-14 4万+
​ 此前GANs霸占各大顶会很多年，DDPM的出现让人耳目一新！经过这两年的发展，Diffusion Models能在图像生成、超分辨率重建、点云生成、语音生成等领域达到SOTA。这篇文章旨在帮助没有了解过的读者入门，《Diffusion Models与深度学习专栏》已经写了将近三十篇文章，既有原理公式和必备基础知识的讲解，也有代码详细实战解读，还有前沿热门应用，欢迎读者订阅。
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
为什么Diffusion Models钟爱U-net结构？
沉迷单车的追风少年
02-04 1万+
前言：今天是大年初一，先祝大家新年快乐！本文是《Diffusion models与深度学习》的第九篇文章，通过前面的文章介绍，大家应该已经基本了解扩散模型的特点，细心的读者会有疑问，为什么现在绝大部分的diffusion models都是U-net结构呢？这个发源于医疗分割的网络结构，为何广受备受diffusion models这种生成式模型的喜爱呢？ 目录 灵感从GANs中而来 DDPM诞生之初与Unet的不解之缘 Positional Embedding融入共享参数信息 Unet基础上引入.
Diffusion models代码解读：入门与实战
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
击败GANs的新生成式模型：score-based model(diffusion model)原理、网络结构、应用、代码、实验、展望
沉迷单车的追风少年
10-20 1万+
前言：在近两年的NeurIPS、ICCV、CVPR等顶会中，出现了二三十篇score-based generative models相关的论文，这是一种全新的生成式模型。特别是一些论文直接喊出了beat GANs(打败GANs)的口号，全新的生成方式和部分领域领先GANs、VAE的生成效果，让越来越多的人感兴趣并投身于研究中。 会不会是下一个GANs？能否解决目前GANs遇到的问题？ 和现有的生成式模型相比有哪些优点哪些缺点？ 目前的网络结构是怎样？ 如何用代码实现？ 常用的数据集有哪些？ 常.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值