#今日论文推荐#清华提出CogVideo：最大的文本生成视频模型

最新推荐文章于 2024-10-18 08:00:00 发布
最新推荐文章于 2024-10-18 08:00:00 发布
阅读量1k 收藏 2
点赞数
分类专栏： 深度学习 文章标签： transformer 深度学习 计算机视觉

#今日论文推荐#清华提出CogVideo：最大的文本生成视频模型

一周不到，AI画师又“进阶”了，还是一个大跨步——
直接1句话生成视频的那种。
输入“一个下午在海滩上奔跑的女人”，立刻就蹦出一个4秒32帧的小片段：又或是输入“一颗燃烧的心”，就能看见一只被火焰包裹的心：这个最新的文本-视频生成AI，是清华&智源研究院出品的模型CogVideo。

论文题目：CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
详细解读：https://www.aminer.cn/research_report/62a164d07cb68b460fcdf89a?download=falseicon-default.png?t=M4ADhttps://www.aminer.cn/research_report/62a164d07cb68b460fcdf89a?download=false
AMiner链接：https://www.aminer.cn/?f=cs

wwwsxn
关注
专栏目录
【AI Code】CodeGeex：你的免费AI编程助手——基于清华ChatGLM的130亿参数预训练大模型
AI天才研究院
04-12 2万+
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现，在鹏城实验室“鹏城云脑II”中的192个节点（共1536个国产昇腾910 AI处理器）上训练而成。截至2022年6月22日，CodeGeeX历时两个月在20多种编程语言的代码语料库（>8500亿Token）上预训练得到。高精度代码生成。
huggingface高速下载模型的实战代码
热门推荐
herosunly的博客
01-27 19万+
本文主要介绍了huggingface高速下载模型的实战代码，尤其是无法通过国内源进行下载的huggingface模型，希望能对学习大模型的同学们有所帮助。需要特别说明的是，本文的代码是完全原创的，即能够最大限度利用宽度的速度，而且还能实现断点续传。 文章目录 1. 背景 2. 实战代码
智谱AI正式开源CogVideoX：视频生成技术的新里程碑
OpenCSG的博客
08-07 1042
最新开源的CogVideoX-2B模型以其强大的生成能力和较低的资源需求，为视频生成领域注入了新的活力，它在FP-16精度下的推理仅需18GB显存，微调则只需要40GB显存，这意味着单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。通过video-llama训练的过滤器，标注并筛选了20,000个视频数据点，同时计算光流和美学分数，动态调整阈值，确保生成视频的质量。CogVideoX-2B的提示词上限为226个token，视频长度为6秒，帧率为8帧/秒，视频分辨率为720*480。
清华&BAAI唐杰团队提出第一个开源的通用大规模预训练文本到视频生成模型CogVideo，含94亿超大参数量！代码即将开源！...
我爱计算机视觉
06-14 2645
关注公众号，发现CV技术之美我爱计算机视觉专业计算机视觉技术分享平台，“有价值有深度”，分享开源技术与最新论文解读，传播视觉技术的业内最佳实践。知乎/微博：我爱计算机视觉，官网 www.52cv.net 。KeyWords：深度学习、机器学习、计算机视觉、人工智能。公众号本篇分享论文『CogVideo: Large-scale Pretraining for Text-t...
CogVideo - 文生视频、图生视频
AI + 工程
09-18 1561
CogVideoX是清影同源的开源版本视频生成模型。模型名模型介绍入门级模型，兼顾兼容性。运行，二次开发成本低。视频生成质量更高，视觉效果更好的更大尺寸模型。推理精度FP16*(推荐), BF16, FP32，FP8*，INT8，不支持INT4BF16(推荐), FP16, FP32，FP8*，INT8，不支持INT4单GPU显存消耗SATFP16: 18GBdiffusers FP16: 4GB起*diffusers INT8(torchao): 3.6G起*SATBF16: 26GB。
【论文笔记】CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
m0_58678659的博客
06-12 1576
大规模预训练的 Transformer 模型已经在文本（如GPT-3）和文本到图像（如DALL-E和CogView）生成方面取得了里程碑式的成果。然而，将其应用于视频生成仍然面临许多挑战：潜在的巨大计算成本使得从头开始训练不可承受；文本-视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在本文中，作者提出了一个9B参数的 Transformer 模型CogVideo，通过继承预训练的文本到图像模型 CogView2 进行训练。还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。
这个AI爆火！输入1句话，生成1段视频！清华提出CogVideo：最大的文本生成视频模型...
阿木寺的博客
06-08 4000
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群萧箫 发自 凹非寺转载自：量子位（QbitAI）一周不到，AI画师又“进阶”了，还是一个大跨步——直接1句话生成视频的那种。输入“一个下午在海滩上奔跑的女人”，立刻就蹦出一个4秒32帧的小片段：又或是输入“一颗燃烧的心”，就能看见一只被火焰包裹的心：这个最新的文本-...
Cogvideo：通过变压器进行文本到视频的大规模预处理
AI生成式技术曾小健
06-06 373
一代中创建了里程碑。它在视频生成上的应用仍面临许多挑战：潜在的巨大计算成本使从头开始培训无法承受；文本视频数据集的稀缺性和弱相关性阻碍了理解复杂运动语义的模型。在这项工作中，我们提出了9B参数变压器COGVIDEO，通过继承验证的。我们还提出了多帧速率层次结构培训策略，以更好地对齐文本和视频剪辑。作为（可能）第一个开源大规模预处理的文本对视频模型，Cogvideo在机器和人类评估的较大范围内优于所有公开模型。经过大规模的变压器在文本（GPT-3）和文本形象（Dall-E和。
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 2152
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
【大模型】开源大型语言模型排行榜：清华大学开放式双语对话语言模型 chatglm-6b 榜上有名
AI天才研究院
05-14 9569
如果想在竞技场中查看特定模型，可以按照指南（https://github.com/lm-sys/FastChat/blob/main/docs/arena.md#how-to-add-a-new-model）添加它。vicuna 以 1169 分稳居榜首，遥遥领先第二名 koala，他们都是 130 亿参数，而来自清华大学的 chatglm 只有 60 亿参数还仍在前五的序列，相比而言，有强大基础的 llama 就落后许多，已经排到第八位了，stablem 的大模型排名最后，与前一名相差近百分。
AI黑科技！CogVideo：文本秒变视频，创作从此颠覆想象！
2401_83063795的博客
03-09 1619
CogVideo：创意即现，影像随形！让想象瞬间成影，多维场景视频即刻生成！ - 精选真开源，释放新价值。
探索技术新星：CogVideo - 视频理解与处理的利器
gitblog_00043的博客
04-25 558
探索技术新星：CogVideo - 视频理解与处理的利器 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个由清华大学计算机系THUDM团队开发的开源项目，致力于提供高效、易用的视频理解和处理工具。这个项目利用深度学习技术，帮助开发者和研究者快速实现对视频数据的智能分析，包括视频分类、目标检测、动作识别等多种任务。 技术分析 深度学习框架 CogVideo构建于Py...
CogVideo 实测，智谱「清影」AI视频生成，全民免费，连 API 都开放了！
u010522887的专栏
07-27 1511
智谱AI视频生成智能体「清影」，全民免费，连 API 都开放了
MLM之CogVideo：CogVideo(国产版Sora)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-07 1698
​ MLM之CogVideo：CogVideo的简介、安装和使用方法、案例应用之详细攻略 目录 CogVideo的简介 CogVideo的安装和使用方法 CogVideo的案例应用 CogVideo的简介 2022年5月19日，智谱AI开源了 CogVideo。在2024年8月7日正式开源。 地址：https://github.com/THUDM/CogVideo 1、项目更新 🔥News:2024/8/7: CogVideoX 已经合并入diffuser
CogVideo阅读笔记
qq_43854103的博客
01-12 789
CogVideo
Cogvideo生成效果展示
m0_56515793的博客
09-02 300
Cogvideo生成效果展示
CogVideoX 初探与部署实践：从基础操作到视频生成
menetholl的博客
09-23 1168
在当今人工智能的发展浪潮中，生成式模型不断推陈出新，尤其是视频生成领域取得了突破性的进展。2023年8月6日，智谱AI发布了一款开源视频生成模型——CogVideoX，该模型具备强大的视频生成能力，为视频创作和自动生成领域提供了全新的思路。本篇博客将带领大家从创建实例、配置环境到生成视频，全方位了解如何在丹摩服务器上部署并使用CogVideoX模型。CogVideoX 是一款基于3D变分自编码器的视频生成模型。
CogVideoX - Fun：以 CogVideoX 框架为基，开启无限长 AI 视频生成新时代
最新发布
寻道码路，探索编程之路的无限可能。
10-18 5168
CogVideoX - Fun 是一款基于 CogVideoX 框架开发的 AI 视频生成工具，它是通过对 EasyAnimate 进行整合修改而得来的。CogVideoX - Fun 具备强大的多模态内容生成能力，支持从文字、图片到视频的内容创作。用户可以利用该工具生成不同分辨率的视频，其分辨率范围涵盖从 256×256 到 1024×1024，这一特性使得它能够很好地满足用户多样化的视频创作需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值