AI视频长度扩展调优技术：ExVideo帮你轻松生成更长、更优质的视频，制作抖音视频，图片直接生视频：腾讯开源的可控性AI图生视频模型，开源+大模型只需一个主题，高清短视频自动生成 再无版权问题的烦恼

最新推荐文章于 2024-09-27 10:58:53 发布
最新推荐文章于 2024-09-27 10:58:53 发布
阅读量923 收藏 11
点赞数 26
分类专栏： 智能工具 文章标签： 人工智能 音视频 开源 大模型 短视频 生成视频 抖音
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014374009/article/details/141388322
版权

AI视频长度扩展调优技术：ExVideo帮你轻松生成更长、更优质的视频，图片直接生视频：腾讯开源的可控性AI图生视频模型，开源+大模型 只需一个主题，高清短视频自动生成 再无版权问题的烦恼。

在这里插入图片描述

AI视频长度扩展调优技术：ExVideo帮你轻松生成更长、更优质的视频

ExVideo是阿里巴巴和华东师范大学的研究人员推出的一种视频生成模型的后调优技术。该技术可以扩展现有视频生成模型的时间尺度，从而生成更长、更丰富的视频内容。研究团队基于Stable Video Diffusion模型，训练了一种能够生成长达128帧视频的扩展模型，同时保留了原始模型的生成能力。

通过优化3D卷积、时间注意力和位置嵌入等时间模块，ExVideo使模型能够处理更长时间跨度的内容。在保持原始模型生成能力的同时，显著增加了视频帧数。此外，该技术的训练成本较低，非常适合计算资源有限的情况。

在这里插入图片描述

功能特点
时间尺度扩展能力
ExVideo突破了传统视频生成模型的时间限制，能够生成更长的视频序列，从而允许用户讲述更加丰富和完整的故事，或者展示更加连续的动态场景。

创新的后调优策略
ExVideo采用了创新的后调优方法，对现有的Stable Video Diffusion等模型进行针对性的再训练，以生成长达128帧甚至更长的视频。这种方法不仅延长了视频的持续时间，还保持了模型的泛化能力，确保了视频的多样性和适应性。

参数优化高效
与传统的视频训练方法相比，ExVideo的后调优策略避免了从头开始训练新模型的需要，而是在现有模型的基础上进行优化，大幅度减少了所需的参数量和计算资源，提高了模型扩展的效率和实用性。

高质量视频生成
ExVideo在扩展视频长度的同时，注重视频质量的维护。生成的视频在视觉连贯性、清晰度和整体质量上均达到了高标准。

广泛的兼容性和通用性
ExVideo的设计考虑了与多种视频生成模型的兼容性，使其能够适用于各种视频生成任务。无论是3D卷积、时间注意力机制还是位置嵌入技术，ExVideo都能够提供相应的扩展策略，以适应不同的模型架构。

ExVideo 技术原理
参数后调优（Post-Tuning）
ExVideo通过参数后调优的方法对现有视频生成模型进行改进。这种策略包括对模型的特定部分进行再训练，而不是重新训练整个模型，从而显著提高效率。

时间模块扩展
ExVideo针对视频生成模型的时间模块提出了以下扩展策略：

3D卷积层：用于捕捉视频中的时间维度特征。ExVideo保留了原始模型中的3D卷积层，因为它们能够适应不同的时间尺度，无需额外的微调。
时间注意力机制：为了提高模型处理长时间序列的能力，ExVideo对时间注意力模块进行了微调，以帮助模型更好地理解视频内容的时间连贯性。
位置嵌入：ExVideo引入了可训练的位置嵌入，并通过循环模式初始化，以适应更长的视频序列。
身份3D卷积层（Identity 3D Convolution）
在位置嵌入层之后，ExVideo引入了一个额外的身份3D卷积层，用于学习长期视频特征。该层在训练前初始化为单位矩阵，确保不会改变视频表示，保持与原始模型的一致性。

工程优化
ExVideo采用了以下工程优化技术以实现在有限计算资源下的高效训练：

参数冻结
混合精度训练
梯度检查点技术
使用DeepSpeed库分片优化器状态和梯度
训练过程
ExVideo使用公开可用的数据集OpenSoraPlan2进行训练，该数据集包含大量视频，以增强模型生成多样化视频的能力。

损失函数和噪声调度
在训练过程中，ExVideo保持了与原始模型一致的损失函数和噪声调度策略，确保了模型训练的稳定性和效率。

项目地址
https://ecnu-cilab.github.io/ExVideoProjectPage/

图片直接生视频：腾讯开源的可控性AI图生视频模型

MOFA-Video是一种由腾讯A1实验室和东京大学的研究人员共同开源的图像生成视频模型。该技术通过生成运动场适应器将静态图像动画化，从而生成视频。基于预训练的Stable VideoDiffusion模型，MOFA-Video能够通过稀疏控制信号（如手动轨迹、面部标记序列或音频等）实现对视频生成过程中动作的精细控制。这些控制信号不仅可以单独使用，还可以组合使用，以零样本（zero-shot）的方式进行复杂的动画制作，提供了一种全新且高度可控的图像动画视频解决方案。

功能特色
轨迹控制动画
用户可以通过在图像上手动绘制轨迹，指导MOFA-Video生成相应的视频动画。这种功能特别适用于需要精确控制物体或相机运动的场景。

面部关键点动画
系统利用面部关键点数据（例如通过面部识别技术获得的标记）来生成逼真的面部表情和头部动作动画。

混合控制动画
MOFA-Video能够将轨迹控制和面部关键点控制相结合，实现面部表情和身体动作的同步动画，创造出复杂的多部分动画效果。

音频驱动面部动画
通过分析音频信号，MOFA-Video能够生成与语音或音乐同步的面部动画，例如口型同步。

视频驱动面部动画
使用参考视频，MOFA-Video能够使静态图像中的面部动作模仿视频中的动作，实现动态的面部表情再现。

零样本多模态控制
MOFA-Video支持零样本学习，不同控制信号可以无需额外训练即可组合使用，这大大提高了动画生成的灵活性和多样性。

长视频生成能力
通过采用周期性采样策略，MOFA-Video能够生成比传统模型更长的视频动画，突破了帧数限制。

用户界面操作
MOFA-Video提供了基于Gradio的简单易用的用户界面，用户可以通过这个界面直观地进行动画生成，无需具备专业的编程技能。

工作原理
MOFA-Video动画生成技术概述

  1. 稀疏控制信号生成
    在训练阶段，系统通过稀疏运动采样技术生成稀疏控制信号。这些信号可能包括基于轨迹的动画控制点、面部关键点序列或其他形式的运动指示。

  2. MOFA-Adapter设计
    MOFA-Adapter是系统的核心组件，用于将稀疏控制信号转换为密集的运动场。其主要组成部分包括：

S2D网络：将稀疏的运动提示转换为密集的运动场。
参考图像编码器：提取参考图像的多尺度特征，用于生成运动场。
特征融合编码器：将S2D网络生成的运动场与参考图像编码器的特征结合。
3. 多尺度特征提取
参考图像编码器处理输入的参考图像，提取多尺度的特征表示，这些特征将在视频帧生成过程中提供引导和变形。

  1. 运动场的生成与应用
    S2D网络根据稀疏控制信号生成密集的运动场，这些运动场用于对多尺度特征进行空间变形，以模拟视频中的运动效果。

  2. 预训练的SVD模型
    MOFA-Adapter与预训练的Stable Video Diffusion模型（SVD）结合，利用从MOFA-Adapter获得的条件特征来引导视频帧的生成。

  3. 空间变形
    利用生成的运动场，系统对参考图像的多尺度特征进行空间变形，确保视频帧中的物体和场景元素按照预定的运动轨迹移动。

  4. 视频帧生成
    在特征空间中经过变形的特征被用于生成视频帧。这一过程涉及从潜在空间中采样并逐步去除噪声，以重建清晰的视频帧。

  5. 多模态控制信号集成
    MOFA-Video能够处理来自不同源的控制信号，并将它们融合到统一的生成过程中，实现复杂的动画效果。

  6. 零样本学习
    MOFA-Adapter训练完成后，可以在不同控制域中无需额外训练即可联合工作，实现对视频生成的精细控制。

  7. 长视频生成策略
    为了生成更长的视频，MOFA-Video采用周期性采样策略，通过在潜在空间中对帧进行分组和重新采样，解决长视频生成中的连贯性和计算复杂性问题。

项目地址
官网：https://myniuuu.github.io/MOFA_Video/

github: https://github.com/MyNiuuu/MOFA-Video

开源+大模型 只需一个主题，高清短视频自动生成 再无版权问题的烦恼

你是否曾经幻想过，只需灵光一闪的思绪，就能即刻转化为一部引人入胜的高清视频作品？在人工智能技术的汹涌浪潮中，这一想象已不再是遥不可及的梦想。今天，让我们共同了解一款革命性的视频制作工具 —— MoneyPrinterTurbo。

MoneyPrinterTurbo 凭借其强大的 AI 大模型技术，实现了短视频制作的全流程自动化。你只需简单地输入一个视频主题或关键词，它便能自动为你生成视频文案、精选的视频素材、恰到好处的字幕以及富有感染力的背景音乐。所有这一切，最后都会被巧妙地融合成一个令人眼前一亮的高清短视频。

MoneyPrinterTurbo：https://github.com/harry0703/MoneyPrinterTurbo

在这里插入图片描述

功能特性 🎯
完整的 MVC架构，代码 结构清晰，易于维护，支持 API 和 Web界面
支持视频文案 AI自动生成，也可以自定义文案
支持多种 高清视频 尺寸
竖屏 9:16，1080x1920
横屏 16:9，1920x1080
支持 批量视频生成，可以一次生成多个视频，然后选择一个最满意的
支持 视频片段时长 设置，方便调节素材切换频率
支持 中文 和 英文 视频文案
支持 多种语音 合成，可 实时试听 效果
支持 字幕生成，可以调整 字体、位置、颜色、大小，同时支持字幕描边设置
支持 背景音乐，随机或者指定音乐文件，可设置背景音乐音量
视频素材来源 高清，而且 无版权，也可以使用自己的 本地素材
支持 OpenAI、Moonshot、Azure、gpt4free、one-api、通义千问、Google Gemini、Ollama、 DeepSeek 等多种模型接入 -中国用户建议使用 DeepSeek 或 Moonshot 作为大模型提供商（国内可直接访问，不需要VPN。注册就送额度，基本够用） 后期计划
本地部署配置要求 📦
建议最低 CPU 4核或以上，内存 8G 或以上，显卡非必须
Windows 10 或 MacOS 11.0 以上系统
具体步骤参考：https://github.com/harry0703/MoneyPrinterTurbo

线上体验
由于该项目的 部署 和 使用，对于一些小白用户来说，还是 有一定的门槛，录咖（AI智能 多媒体服务平台） 网站基于该项目，提供的免费AI视频生成器服务，可以不用部署，直接在线使用，非常方便。

中文版：https://reccloud.cn
英文版：https://reccloud.com

效果演示
竖屏 9:16

在这里插入图片描述

横屏 16:9

在这里插入图片描述

在人工智能的赋能下，每一个独特的想法都拥有了被世界瞩目的机会。MoneyPrinterTurbo，远非简单工具所能概括，它象征着内容创作领域一股涌动的新浪潮。借助MoneyPrinterTurbo，创意不再被束缚，而是能够转化为现实，让每个人都能成为自己生活的导演，尽情演绎属于自己的精彩篇章。

代码讲故事
关注
专栏目录
AI在线免费视频工具2：视频配声音FoleyCrafter；音频图片驱动hedra、hallo；图生视频ExVideo
weixin_42357472的博客
06-18 649
https://www.videotosoundeffects.com/ （免费在线使用）
如何本地部署虚VideoReTalking
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
01-20 2752
Win10专业版。
Ex.Video视频APP
11-06
据电报ExVideo中文社区透露，一款名为Ex.Video，定位为海外版抖音的App于近日上线。据其白皮书介绍，这是由一群来自加拿大且长期活跃于Pornhub的技术极客开发的APP。
ex_VideoPlayer
autumn20080101的专栏
03-13 2446
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="fill_parent" android:layout_height="fill_parent" android:orientation="vertical" > <TextV
ExVideo: 提升5倍性能-用于视频合成模型的新型后调谐方法
yumuing‘s blog
06-28 1049
该研究的核心在于开发了一种创新的后调优方法——ExVideo，它致力于克服当前视频扩散模型在生成长时间视频方面的限制。ExVideo的设计目标是增强现有模型的功能，使之在不大幅增加训练成本的前提下，能够输出更长的视频序列。
手把手AI实战(八)一站式制作长视频
09-05 338
一、成果展示二、步骤拆解现在大部分的AI文生视频平台都只提供5秒、10秒等时长，如果要创作一个几分钟的视频，就需要进行多次的分割，然后再进行拼接。考虑到大部分AI平台对角色一致性问题都处理的不够理想，制作成本还是非常高的。今天要介绍的是白日梦AI，它是一款国产AI工具，整合了文生图、图生视频、剪辑配音等AI视频制作步骤，形成了自己的一套工作流，支持手机版和网页版，支持长达3000字的故事文案，可以...
小时级的长视频生成！浙江大学发布MovieDreamer，AI电影时代到来了？
夕小瑶科技说
08-21 894
还记得前段时间刷屏朋友圈的Sora吗？它将生成视频的时长从几秒惊人地延长到前所未有的整整一分钟，惊艳了AI视频圈，不少人预言AI生成长达数小时的电影也指日可待。这不，浙江大学带着MovieDreamer走来了，再次刷新了视频生成的极限，将时长推向了小时级。MovieDreamer不仅可以塑造鲜活生动的角色，编织出连贯流畅的故事线，在画面上精雕细琢，每一帧的细节更是拉满。先来欣赏一下MovieDreamer生成的大作：下图是MovieDreamer生成的泰坦尼克号的场景，非常逼真。
苹果手机直播格式视频播放app平台
08-19
本app可直接安装在ios系统手机中，主要程序包含app和后台管理系统，另外还有一个webapi平台提供个后台系统和app进行调用
ch13_android开发_
10-02
在Android开发领域，"ch13_android开发_"可能是指一个章节或者教程，专注于音乐和视频相关的功能实现。这个章节可能涵盖了如何在Android应用中集成多媒体处理能力，特别是针对音乐播放和视频展示。以下是对这些...
dsdemo.zip_DEMO_Hikvision
09-24
比如，dsform.cpp可能涉及用户界面的定义，QSDLWidget.cpp可能与Qt库的SDL（Simple DirectMedia Layer）组件相关，dsdemo.cpp可能是主程序的实现，exvideo.cpp可能处理视频的解码和显示，forminfo.cpp可能涉及表单...
8款国内外免费AI生成视频工具对比实测！我们真的可以做到“一人搞定一部影视作品“吗？
金融机器智能社区
09-03 2553
通过以上测试不难看出，国内AI生成工具的性价比，比国外要更胜一筹。但在评比中，国外AI生成视频Runway还是稍领先vidu0.2分。还在想国外AI生视频并没有那么太糟糕，但今日得知Runway在Hugging Face上的内容全部删除...这会影响后续我们使用它生成内容吗？难道真的如名字一样要run way了吗..我们静待发展。目光再次转回国内，即梦AI在多轮测试中可以获得榜首，可灵AI、清影紧随其后。可灵评分低于即梦主要原因是——在免费情况下生成内容时长较少；视频内容呈现质量逊色一筹。
【SVD生成视频+可本地部署】ComfyUI使用（二）——使用Stable Video Diffusion生成视频 （2023.11开源）
进一寸有一寸的欢喜
01-25 4502
2023年11月21日** 由 `Stability AI` 开源2个`图片到视频模型它将静止图像（still image）作为条件帧(conditioning frame)，并从中生成视频分辨率（`1024x576`）。 1. 上传已有1张图片，生成相关的视频片段、生成视频长度2-5秒，帧率 3-30帧每秒， 2. 串联一个Stable-XL模型，生成图片后，再生成视频 (文字到图片再到视频)
ai智能扩图怎么弄？教你7种靠谱的扩图方法
qq_40427481的博客
04-03 1万+
通过本文的分享，相信各位小伙伴一定都已经知道ai智能扩图怎么弄了吧，那么事不宜迟，赶紧去实际操作一下试试看吧，相信我，对图片进行扩图操作还是一件十分好玩的事情，大家能在其中发现许多不重复的乐趣~其优势在于能够智能填充新增区域，保持原画风格的连贯性和一致性，且特别注重细节保留，使扩大的图像不失真。⊿Disco Diffusion主打基于文本提示的图像生成，其在扩图方面的优势体现在可以从我们提供的文本描述出发，生成与之相应的高质量大尺寸图像。⊿其优势在于能通过对图像进行逐层解析，生成极具艺术效果的新版图。
视频生成/视频理解【文章汇总】SVD, Sora, Latte, VideoCrafter12, DiT...
zik的博客
07-24 1296
Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human percepti
android xvideo app,XVIDEO - Player
weixin_30582943的博客
05-28 3万+
XVIDEO - Player v1.0.1Video Player - lettore di alta qualità per godere di video di alto livello con alta qualità .XVIDEO - Player Screenshots XVIDEO - Player Voto Editors 'FromQuen Deve: Con questo ...
android xvideo app,xvideo downloader and player
热门推荐
weixin_30070663的博客
05-28 5万+
xvideo downloader and player 介绍xvideo downloader and playerWith X-Video Player app, you can maduras enjoy high quality top video files on your device. And most other video format MP4, AVI and so on....
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
最新发布
m0_52911108的博客
09-27 1028
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 855
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1694
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值