文生视频开源产品的一些调研（一）

已于 2024-06-18 15:42:44 修改
阅读量1.6k 收藏 13
点赞数 18
分类专栏： LLM大模型 文章标签： 音视频 人工智能 AIGC 视频生成 文生视频
于 2024-06-17 23:18:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_26917383/article/details/139754145
版权

笔者尝试AI视频生成的几个特点：

  • 玄学prompt，每个视频的prompt可能也需要微调很多次，需要找到使用模型的最佳prompt词组合，不恰当的比喻，骑自行车，座位高度等都是人与车彼此熟悉
  • 玄学生成，因为需要连贯，你可能需要生成无数个视频，99%可能都是一坨屎，各种垮脸的关键帧，需要失败很多次，才有那么个能看的，所以按照这个原理，买在线平台比较不划算，因为每次生成都是计费的

如果要生成比较合理的长视频：

  • 合理的拆解分镜
  • 每个分镜要有适配模型的prompt，包括背景描述
  • 玄学生成视频，力大出奇迹

这里笔者有点推荐使用【星火绘镜】来试着打造分镜，首图也可以保存，
后面生成视频的功能就别用了，瘆人。

几个可以同时支持图+文共同输入的模型：

  • 即梦
  • lumalabs.AI
  • Runway Gen-3 Alpha

1 产品调研

AIGC产品列表可见：[AI视频生成]

1.1 快手：可灵

https://kling.kuaishou.com/

没有申请到测试账户，生成短视频一般5s左右，示例视频的动作还蛮丰富

在这里插入图片描述
号称可以支持长视频：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 lumalabs.AI

https://lumalabs.ai/dream-machine/creations

120 秒生成 120 帧，视频模型 Dream Machine

在这里插入图片描述

Dream Machine 可在 120 秒生成 120 帧，目前单个视频最长为 5 秒；生成的视频具有逼真的流畅运动、电影摄影和戏剧效果；还可以匹配摄像机运动，创造出“惊艳”的画面。
Luma AI 也提到了目前模型存在的问题，比如切换视角时汽车会变形，狗的运动没有用到爪子，显示文字会有问题（将 Luma 显示成 Lumma），北极熊在转身时出现了两个头（Janus 是罗马人的门神，具有前后两个面孔），官方表示他们仍将继续优化模型。

1.3 即梦 - 剪映旗下

https://jimeng.jianying.com/ai-tool/home
在这里插入图片描述

有一些比较视觉的功能，比如运镜控制，还有首帧，尾帧的图片的上传可以固定首尾情况
但是整体5S中，可以连贯的剧情可能比较简单，
笔者体验下来可能仅仅实现的是图像动起来

生成的内容也会有变形，所以需要生成很多次才可以。

在这里插入图片描述

1.4 科大讯飞-星火绘镜

https://typemovie.art/#/dashboard
在这里插入图片描述

笔者猜测底层可能是【Stable Video Diffusion】，使用的某个Lora都是高清现代人物，比较亮眼的长视频的分镜处理
第一步：给入主题大纲生成分幕剧情
在这里插入图片描述
在这里插入图片描述

第二步：根据每一个分镜描述，生成分镜首图，然后后续会根据这些首页图再次生成
咋说呢，首图看着确实很亮眼，但是后续生成的视频，简直不能看，胆小慎入…
反正不能人样…
在这里插入图片描述

1.5 魔搭MotionAgent

https://modelscope.cn/studios/iic/MotionAgent/summary

MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合，进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。

是一个比较完整的项目了，包括剧本，音乐生成，就是缺了一个分镜就更好了
比较适合自己搭服务器玩

在这里插入图片描述

1.6 CogVideo

https://segmentfault.com/a/1190000044809082
https://models.aminer.cn/cogvideo/
只有4s，可以免费试用的相对固定

在这里插入图片描述

1.7 runwayml

https://runwayml.com/?ref=magicspace.agency

在这里插入图片描述

1.8 Stable Video

Stable Video是由著名的Stability AI推出的在线AI视频生成工具，目前拥有最强大的AI绘画模型之一，Stable Diffusion。它提供文本生成视频和图像生成视频两种模式，每天还可获得积分，免费生成多达十几个视频。
网址 https://www.stablevideo.com/

测试下来，本质就是让图动起来，差了点意思，剧情感不强

在这里插入图片描述

1.9 Lumen5

Lumen5能够将长篇文章、博客等文本内容转化为视频，并提供丰富的视频模板供选择。用户可以对制作过程进行微调，添加素材等，享有高度自由度。
网址https://lumen5.com/

在这里插入图片描述

1.10 腾讯智影 - 数字人创作

腾讯智影是一款集成了AI数字人物、AI文字转语音（TTS）、文章转视频等功能的智能创作工具。用户可以选择多种AI数字人物，并进行细节控制，如动作、服装等。
网址 https://zenvideo.qq.com/

1.11 即创 - 电商商品生成

即创是字节跳动专为抖音生态而推出的AI创作平台，能够通过AI快速生成文案、带货视频、直播以及商品宣传图等内容。同时也提供AI数字人功能。
用户可以通过抖音精选联盟的商品ID，在即创中一键生成爆款内容，非常适合从事抖音带货的用户。
官网 https://aic.oceanengine.com

1.12 一帧秒创

https://aigc.yizhentv.com/product/aiVideo

拆分剧本，但是视频都是哪个影视剧的小片段裁剪的，不是合成的

在这里插入图片描述

1.13 domoAI - 视频转动漫

官方 Discord 链接： https://discord.gg/domoai

DomoAI 的服务目前托管 Discord 上的，可以将真人视频转化为动漫、3D、像素、彩色插画、中国水墨画等多种风格。下面是官方展示的真人视频转动漫视频的效果，非常稳定丝滑。
在这里插入图片描述

1.14 Runway Gen-3 Alpha

2024/6/18更新
https://app.runwayml.com/video-tools/

整体有120s的免费时间
每次一般生成4s一段的视频

关联报道：Runway发布Gen-3 Alpha：用100万美元拍500部电影的时代来了！｜甲子光年

Gen-3 Alpha的五大功能特色
每一个功能都能让你的创意想法变为现实，发现Gen-3 Alpha能提供的优越体验。

  • 文本到视频：将文本描述转换为视频。
  • 图像到视频：将静态图像转换为动态视频。
  • 文本到图像：将文本描述转换为静态图像。
  • 高级相机控制：精细控制视频拍摄角度和运动。
  • 导演模式：对视频的叙事和场景进行详细指导。

本次发布的Gen-3 Alpha模型使用视频和图像联合训练，其特色包括：

  • 90秒内快速生成10秒视频
  • 并行生成多个视频
  • 模型驱动新的文本到视频（T2V）、图像到视频（I2V）和文本到图像（T2I）
  • 动作笔刷、高级摄像机控制、导演模式
  • 即将推出用于精细控制结构、风格、动作的工具

在这里插入图片描述
在这里插入图片描述
整个制作页面也蛮好：
在这里插入图片描述
当然笔者在测试的时候，一直想让人物有一个躺下的动作：

Jane sat on the bed, swiping her phone, then lay back on the bed, holding the phone as she lay down, keeping her eyes on the screen without shifting

但是一直“躺不下”，可能这个动作时间不够。。
在这里插入图片描述
不过runway是可以直接使用extend功能，
当然，延长4s，依旧不能躺下。。

一文读懂AIGC文生图系列原理及发展近况！
女王の专属领地
11-25 2276
2021年10月，谷歌发布的 Disco Diffusion 模型以其惊人的图像生成效果拉开了属于扩散模型的 AIGC 时代序幕。图像精美但细节不够深人；生成耗时过长（也是一直以来的痛点）。但其图像质量碾压以往众多绘画模型，达到普通人无法企及高度，这才让 AI绘画真正迈入生产工具行列。AIGC作为一种新兴的技术，正在快速改变内容生产和创作的格局。经过多年的发展，AIGC已经在文本、图像、音频和视频等多个领域取得了显著的成就。
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 8146
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
最新动态一致的文生视频大模型FancyVideo部署
m0_71062934的博客
09-20 612
FancyVideo是由360AI团队与中山大学联合开发的一种创新视频生成模型。 FancyVideo模型基于UNet架构，旨在解决现有视频生成模型在动作连贯性和情节流畅性方面存在的问题。 FancyVideo通过引入跨帧文本引导模块(Cross-frame Textual Guidance Module, CTGM)来改进现有的文本控制机制。 实验结果表明，FancyVideo在EvalCrafter Benchmark上的定量评估和其他T2V模型相比，在视频生成质量、文本一致性、运动性和时序一致性方面均
全球首个开源文生视频DiT
weixin_40920183的博客
03-29 200
来源：机器之心随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。然而，由于视频数据的高度结构化与复杂性，如何将 DiT 扩展到视频生成领域却是一个挑战，来自上海人工智能实验室的研究团队联合其他机构通过大规模的实验回答了这个问题。早在去年 11 月，该团队就已经开源了一款...
阿里开源正式开园文生视频、图生视频模型-通义万相 WanX2.1
最新发布
CherryXieのblog
02-27 1586
通义万相 Wan2.1 模型于 2025年1月 发布，并迅速登顶视频生成领域权威评测 Vbench 的榜首，超越了包括 Sora、HunyuanVideo、Minimax 等国内外知名模型，并于这周开源。它是阿里云在 AI 视频生成领域的最新成果，旨在提供高质量、高效率的视频生成能力。
Sora有了开源平替文生视频和图生视频：OpenDiT！作为一个开源项目，通过其高性能的Diffusion Transformer（DiT）实现，为文本到视频或文本到图像的生成应用带来了革命性的提升
代码讲故事
04-25 1388
Sora有了开源平替文生视频和图生视频：OpenDiT！作为一个开源项目，通过其高性能的Diffusion Transformer（DiT）实现，为文本到视频或文本到图像的生成应用带来了革命性的提升。
一个文生视频MoneyPrinterTurbo项目解析
Welcome Friends~
04-16 1536
最近抖音剪映发布了图文生成视频功能，同时百家号也有这个功能，这个可以看做是一个开源的实现，一起看看它的原理吧~
零样本从文本直接生成视频：Text2video-zero的试用和启发
深度学习机器
01-13 1548
前段时间，一款AI视频应用及其创始人刷爆了科技圈，顺便还带火了自家公司的股票。这是一家名为pikaai的初创公司，他们的主打产品是一款文本生成视频应用Pika 1.0。对于AI生成图片大多数人已经不陌生了，甚至已经用的非常熟练，其中不乏常见的Stable Diffusion以及Midjourney等各种模型和产品。反观文生视频模型及其衍生产品却进展迟缓，尽管几家当红的公司宣传自己的产品非常厉害，但实际上都面临或多或少的问题。
国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
2401_84208172的博客
08-11 2010
Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：1.对话式Agent所有资料 ⚡️ ，朋友们如果有需要全套 《》，👉[CSDN大礼包（安全链接，放心点击）]()👈。
视频风格化技术原理及现状
step by step
07-29 2267
在整个调研过程中，相关论文中各方案的对比都是比较欠缺的，反映一个基本事实，客观评估生成效果是困难的，现有的评估方法主要是如Frechet视频距离和Inception Score（IS），主要强调生成的视频和真实视频分布之间的差异，难以准确反映视频生成的综合质量。的提出激发了更多的工作。传统的扩散模型（Diffusion Model）的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全无结构的噪点图片，然后在生成图片的时候，基于一张完全噪点的图片，逐步减少噪点，直到还原出一张清晰的图片。
文生视频prompt整合之打斗、武打、战场血腥(第一版)
10-29
文生视频prompt整合之打斗、武打、战场血腥(第一版)： 内容概要：该资源是整合hialuo等文生视频prompt，本期为打斗场面的prompt，包括二人打斗、战场打斗、战场血腥、万人打斗、刀光剑影等场面。如果大家喜欢，请下载使用，欢迎关注后续更新。 一份专门为视频创作者设计的prompt集合，旨在激发和指导创作包含打斗、武打及战场血腥场景的视频时的内容构思。这份整合不仅涵盖了丰富的动作设计元素，还融入了紧张刺激的剧情线索，帮助创作者构建出既真实又富有张力的场景。 适用人群：本资源适用于广泛的视频创作者群体，包括但不限于电影制作人、电视剧编剧、网络短视频达人以及游戏开发者等。无论是专业团队还是独立创作者，都能从中获得灵感和实用的创作指导。 使用场景及目标：在需要展现高强度动作场面或紧张战斗氛围的视频项目中，如动作电影、历史战争剧、武侠片或是射击类游戏等，这份prompt整合将成为创作者的得力助手。它的目标是提升视频内容的吸引力和观众沉浸感，同时确保动作场景的真实性和连贯性。
【AI+视频】个人整理的几款AI文生视频网站工具
子晓聊技术
06-15 9891
端午假期出去浪了几天， 像 快手的文生视频可灵大模型 、 luma的dream-machine 也来了， 截止到现在我所知道的AI文生视频大模型也不少了, 这里简单列一下。官网地址：https://lumalabs.ai/dream-machine/creations。下载快影APP ----- AI创作---- AI生视频（申请体验），想加快申请进度的。官网地址：https://kling.kuaishou.com/ ，官网地址：https://openai.com/index/sora/
SDXL使用animateDiff和hotshot-xl进行文生视频
benben044的专栏
12-08 3771
截至2023.12.8号，目前市面上由两款适用于SDXL的文生视频开源工具，分别是AnimateDiff和hotshot-xl。
Luma AI：视频生成界的新星，还是未来的王者？
bagell的博客
06-14 8296
Luma AI，这是一家成立于 2021 年 9 月的美国加州公司，专注于 3D 内容生成技术。该公司的核心技术是 NeRF（Neural Radiance Fields），这是一种三维重建技术，可以通过少量照片生成、着色和渲染逼真的 3D 模型。Luma 推出的 Dream Machine 基于 DiT 视频生成架构，能够在 120 秒内生成一个包含 120 帧的高质量视频，实现快速创意迭代。它能理解物理交互，确保生成的视频角色和场景具有一致性和物理准确性。
【LLM】文生视频相关开源数据集（VidGen、Panda、Cogvideox等）
发现问题，并解决问题，批判性思维
09-01 2163
note 总结了VidGen数据集、Panda-70m数据集、Openvid数据集、OpenVid-1M数据集、Cogvideox训练数据准备过程 在一篇综述中还总结了评估指标包括：峰值信噪比（PSNR）、结构相似性指数（SSIM）、Inception 分数（IS）、Fréchet Inception 距离（FID）、CLIP 分数、视频 Inception 分数（Video IS）、核视频距离（KVD）、帧一致性分数（FCS） 各家提出的开源数据后，为了证明自己有效，会在上面这些不同指标评测 文章目录
Sora 文生视频提示词实例集 5
qq_41176800的博客
02-25 945
Prompt: The camera directly faces colorful buildings in Burano Italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the cana...
终于等到open Sora开源，解读open- Sora1.0文生视频模型
大F子的智能小课
03-18 938
Colossal-AI团队全面开源了名为「Open-Sora 1.0」的视频生成模型，该模型采用类Sora架构，基于Diffusion Transformer (DiT) 架构设计，并扩展到视频数据领域。同时，他们在训练效率上也取得了显著成果，借助Colossal-AI加速系统，不仅降低了训练成本，还在视频训练过程中实现了高效的加速效果。3. 高质量视频数据微调：针对高分辨率、高质量和更长时长的视频数据进行微调，显著提升了视频生成的质量，实现了从低分辨率向高分辨率、短时长向长时长的高效过渡。
马斯克拿下4000亿天价薪酬；Luma AI向公众开放Sora最强竞品 | AI头条
AI科技大本营
06-14 1263
整理 | 王轶群出品 | AI 科技大本营（ID：rgznai100）一分钟速览新闻点！价值高达 560 亿美元，马斯克提前宣布赢得薪酬方案投票，或重返全球首富Luma AI 推出用于生成逼真视频的 AI 模型 Dream Machine小爱同学接入豆包大模型，小米 SU7 已搭载Adobe 第二财季营收53.1亿美元，数字媒体营收增长11%至39.1亿美元谷歌“平台”团队重组：Dave Burk...
文生视频，图生视频开源项目
01-03
### 开源项目用于文本生成视频 为了实现从文本生成视频的任务，通常需要结合多个技术组件来完成整个流程。一方面，存在专门针对文本到图像或文本到视频生成的应用程序，这些应用程序利用了高性能的Diffusion Transformer（DiT），能够有效地将自然语言描述转化为视觉内容[^1]。 ```python from transformers import pipeline text_to_video_generator = pipeline('text-to-video-generation') video_output = text_to_video_generator("A beautiful sunset over the ocean.") ``` 然而，在许多情况下，直接的文字生成视频功能并不是现成可用的。因此，一种常见的做法是先使用文本转语音(TTS)工具创建音频文件，再借助视频编辑软件或其他专用APIs合成最终的产品。例如，可以采用开源AI模型如GPT-2生成详细的场景描述作为中间步骤的一部分。 ### 开源项目用于图像生成视频 对于由静态图像序列构建动态影像的需求而言，同样存在着多种解决方案可供选择。某些框架允许开发者定义一系列变换规则，从而让计算机自动地把单张或多张静止的画面组合起来形成连贯的动作片段。值得注意的是，MetalCamera这样的iOS平台上的GPU加速库也提供了强大的能力来进行实时渲染以及复杂的后期特效处理操作[^3]。 ```bash # 安装 MetalCamera 及其依赖项 pip install metalcamera opencv-python numpy ``` 尽管如此，具体实施过程中还需要考虑诸如帧率同步、过渡效果设计等因素以确保产出质量达到预期标准。此外，也可以探索其他专注于多媒体创作领域的第三方插件和服务提供商所推出的特色功能模块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值