CogVideo 视频转视频

于 2024-09-05 10:50:50 发布
阅读量72 收藏
点赞数
分类专栏： 三花AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/141925231
版权

CogVideoX 5B 文生视频自开源后开发团队明确表示不会开源图生视频，非常的遗憾。

昨天本地 AI 运行神器的 pinokio 作者 fork 了 peanutcocktail/CogVideo 并发布了视频生视频功能，视频中演示的是“将驾驶视频变成像素游戏风格”

大伙在尝试的时候可以先用 2B 模型，速度快的多，当感觉有戏再用 5B 模型生成质量更好的。

三花AI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文生视频综述
liguandong
05-28 9052
文生视频的研究正在呈指数级发展，但现有工作在上下文一致性上仍有限制，同时还面临其他诸多挑战。在这篇博文中，我们介绍了文生视频模型的限制、独特挑战和当前状态。我们还看到了最初为其他任务设计的架构范例如何赋能文生视频任务的巨大飞跃，以及这对未来研究意味着什么。虽然进展令人印象深刻，但与文生图模型相比，文生视频模型还有很长的路要走。最后，我们还展示了如何通过 Hub 上的应用演示来使用这些模型，以及如何将这些模型作为 Diffusers 流水线的一部分来完成各种任务。
AI视频创作原理
08-17 707
I2VGen-XL由达摩院研发的高清视频生成基础模型之一，其核心部分包含两个阶段，分别解决语义一致性和清晰度的问题，参数量共计约37亿，模型经过在大规模视频和图像数据混合预训练，并在少量精品数据上微调得到，该数据分布广泛、类别多样化，模型对不同的数据均有良好的泛化性。随着文生视频模型的发展，出现了更多的多模态视频文本数据集，以及更好、更通用的数据集。在这个公式中，E是预训练的编码器，x是给定的视频，ϵ是噪声，c是选定的条件，t是时间步长，zt是噪声破坏的潜在表示。AI视频创作的任务面临着多方面的独特挑战。
本地离线部署文生视频cogVideo
2301_76814617的博客
08-14 521
本地离线部署文生视频模型,图片是模型生成的例子
CogVideo文生视频docker一键部署启动
guoshiyin的博客
08-09 238
【代码】CogVideo文生视频docker一键部署启动。
文图生视频核心技术研究
RadLU的博客
07-13 1134
大家好，我是卢旗。随着各种短视频应用留存客户时间的增长，运用AI生产视频这个领域的需求也日益增大。下面，我就以这个话题展开一些研究。一，图文生视频需要应用到的核心技术。
智谱AI正式开源CogVideoX：视频生成技术的新里程碑
OpenCSG的博客
08-07 784
最新开源的CogVideoX-2B模型以其强大的生成能力和较低的资源需求，为视频生成领域注入了新的活力，它在FP-16精度下的推理仅需18GB显存，微调则只需要40GB显存，这意味着单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。通过video-llama训练的过滤器，标注并筛选了20,000个视频数据点，同时计算光流和美学分数，动态调整阈值，确保生成视频的质量。CogVideoX-2B的提示词上限为226个token，视频长度为6秒，帧率为8帧/秒，视频分辨率为720*480。
超越sora，最强文生视频CogVideo模型落地分享
m0_71062934的博客
08-12 870
CogVideo是由智谱AI开源的视频生成模型，它是与商业版视频生成产品“清影”同源的模型。 CogVideoX-2B是CogVideoX系列中的第一个模型，拥有20亿参数，支持在单张4090显卡上进行推理，推理时的显存消耗为18GB，微调时显存消耗为40GB。 CogVideoX-2B通过3D VAE在空间和时间维度上压缩视频数据，实现了高压缩率和优秀的重建质量。 此外，模型还包括编码器、解码器和潜在空间正则化器，通过因果卷积机制确保信息处理的连贯性和逻辑性。
CogVideo 实测，智谱「清影」AI视频生成，全民免费，连 API 都开放了！
u010522887的专栏
07-27 1158
智谱AI视频生成智能体「清影」，全民免费，连 API 都开放了
探索技术新星：CogVideo - 视频理解与处理的利器
gitblog_00043的博客
04-25 495
探索技术新星：CogVideo - 视频理解与处理的利器 项目地址:https://gitcode.com/THUDM/CogVideo 项目简介 CogVideo 是一个由清华大学计算机系THUDM团队开发的开源项目，致力于提供高效、易用的视频理解和处理工具。这个项目利用深度学习技术，帮助开发者和研究者快速实现对视频数据的智能分析，包括视频分类、目标检测、动作识别等多种任务。 技术分析 深度学习...
清华&BAAI唐杰团队提出第一个开源的通用大规模预训练文本到视频生成模型CogVideo，含94亿超大参数量！代码即将开源！...
我爱计算机视觉
06-14 2492
关注公众号，发现CV技术之美我爱计算机视觉专业计算机视觉技术分享平台，“有价值有深度”，分享开源技术与最新论文解读，传播视觉技术的业内最佳实践。知乎/微博：我爱计算机视觉，官网 www.52cv.net 。KeyWords：深度学习、机器学习、计算机视觉、人工智能。公众号本篇分享论文『CogVideo: Large-scale Pretraining for Text-t...
AI视频创作应用
08-21 215
该示例展示了文生视频应用，还包括多种其他生成模式，如文本引导的视频编辑，以及基于姿势、深度、边缘输入结合文本提示进行联合条件下的视频生成。只需上传视频并输入描述该视频的文本提示即可。除了使用应用演示来尝试预训练文生视频模型外，你还可以使用 Tune-a-Video 演示来微调现有的文生图模型，使用自己的文本-视频对。夜晚的丛林中，一只猫头鹰（主体）站在枯树枝上（环境描述），猫头鹰的眼睛在月光下闪闪发亮（动作）。比得兔（主体）开小汽车（主体描述），游走在马路上（环境描述），脸上的表情充满开心喜悦（氛围设定）
CogVideoX 视频生成模型代码案例
weixin_42357472的博客
08-07 181
参考：4090卡24g是运行可能显存不足，这里暂时enable_model_cpu_offload()测试，并减少num_inference_steps步数。
如何开发主播美颜工具？直播美颜SDK的实现方案
最新发布
q1031691172的博客
09-04 203
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 974
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
智能化升级：AI在客服知识库中的应用
LookLook同学的博客
09-03 971
探讨AI在客服知识库中的应用，提升效率与用户体验。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 3980
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 605
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
您应该使用哪个矢量数据库？ 选择最适合您需求的数据库
weixin_41446370的博客
09-01 1505
在现实世界中，并非所有数据都能整齐地排列成行和列。在处理复杂的非结构化数据（如图像、视频和自然语言）时尤其如此。矢量数据库是一种以高维矢量形式存储数据的数据库，本质上是代表对象特征或特性的数字列表。每个矢量对应一个独特的实体，如一段文本、图像或视频。但为什么要使用矢量呢？奥妙就在于它能够捕捉语义和相似性。通过将数据表示为向量，我们可以对它们进行数学比较，并确定它们的相似或不相似程度。这使我们能够执行复杂的查询，如 "为我查找与此相似的图片 "或 “检索与此文本语义相关的文档”。
设备上的实时自定义手势识别
bit_mike的博客
08-31 1088
这篇论文的标题是《On-device Real-time Custom Hand Gesture Recognition》，主要研究了如何在移动设备上实时识别自定义手势。论文的重点在于提出了一种新的框架，使得用户可以自定义手势识别流程，并且通过预训练模型和少量的训练数据来实现高准确率的手势识别，这对于AR、VR等领域具有重要的应用价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值