Luma AI，让你的视频像电影一样精彩！附带使用教程

于 2024-08-29 12:26:03 发布
阅读量2.2k 收藏 20
点赞数 66
文章标签： 人工智能 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mynameonly/article/details/141675404
版权

Luma 视频生成 API 对接说明

随着 AI 的应用变广，各类 AI 程序已逐渐普及。AI 已逐渐深入到人们的工作生活方方面面。而 AI 涉及的行业也越来越多，从最初的写作，到医疗教育，再到现在的视频。

Luma 是一个专业高质量的视频生成平台，用户只需上传素材，即可根据不同风格和效果自动生成高质量视频。该 AI 视频生成器由来自知名科技公司的团队成员开发，目标是无需复杂的编辑工具，让每个人都能轻松制作出色的视频。

然而 Luma 官方是并没有提供 API 的，AceDataCloud 提供了一套 Luma 的 API，模拟对接了 Suno 官方，可以方便快捷地生成想要的视频。

注册试用链接

注册试用链接

申请和使用

要使用 Luma Videos API，首先可以到 Luma Videos Generation API 页面点击「Acquire」按钮，获取请求所需要的凭证：

如果你尚未登录或注册，会自动跳转到登录页面邀请您来注册和登录，登录注册之后会自动返回当前页面。

在首次申请时会有免费额度赠送，可以免费使用该 API。

基本使用

想要生成什么视频，可以任意输入一段文字，比如我想生成一个关于宇航员穿梭于太空和火山之间的视频，就可以输入 Astronauts shuttle from space to volcano，如图所示：

生成的代码如下：

在这里插入图片描述

可以点击「Try」按钮直接测试 API，稍等 1-2 分钟，结果如下：

{
  "success": true,
  "task_id": "e4018a99-1522-4f24-9330-62c2a9b50b59",
  "video_id": "155838f8-7f1e-44d8-b387-192f3b4b509d",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://storage.cdn-luma.com/dream_machine/af94e7ca-da35-4b5f-a636-2d7254184d0d/watermarked_video0585de3737db946e5a0ac895384ecd180.mp4",
  "video_height": 752,
  "video_width": 1360,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/e4018a99-1522-4f24-9330-62c2a9b50b59.jpg",
  "thumbnail_width": 1360,
  "thumbnail_height": 752
}

可以看到这时候我们就得到了这个视频的相关信息，包括视频ID、视频链接、视频封面等内容。

字段说明如下：

  • success：生成是否成功，如果成功则为 true，否则为 false
  • task_id：此处视频生成任务的唯一ID
  • video_id：此处视频生成任务产生的视频唯一ID
  • prompt：此处视频生成任务的关键词
  • video_url：此处视频生成任务的结果视频链接
  • video_height：生成后的视频封面图片的高度
  • video_width：生成后的视频封面图片的宽度
  • state：此处视频生成任务的状态，如果任务完成的话则为 completed。
  • thumbnail_url：生成后的视频封面图片的链接
  • thumbnail_width：生成后的视频封面图片的宽度
  • thumbnail_height：生成后的视频封面图片的高度

自定义首尾帧生成

如果想通过自定义视频的首尾帧来生成视频，可以输入首尾帧的图片链接：

这时候视频首帧 start_image_url 字段可以传入以下图片作为视频的首帧：

首帧

接下来我们要根据首尾帧、关键词自定义生成视频，就可以指定如下内容：

  • action：视频生成任务的行为，通常是普通生成 generate 和扩展生成 extend，默认为 generate。
  • start_image_url：指定生成视频的首帧。
  • end_image_url：指定生成视频的尾帧。
  • prompt：生成视频的关键词内容。

填写样例如下：

填写完毕之后自动生成了代码如下：

对应的代码：

import requests

url = "https://api.acedata.cloud/luma/videos"

headers = {
    "accept": "application/json",
    "authorization": "Bearer {token}",
    "content-type": "application/json"
}

payload = {
    "start_image_url": "https://cdn.acedata.cloud/r9vsv9.png",
    "action": "generate",
    "prompt": "Astronauts shuttle from space to volcano"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

得到的结果如下：

{
  "success": true,
  "task_id": "12a18694-fd4b-47e7-9c50-34f30862cff6",
  "video_id": "0105c090-03a5-425a-8026-523341cd575b",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://platform.cdn.acedata.cloud/luma/12a18694-fd4b-47e7-9c50-34f30862cff6.mp4",
  "video_height": 656,
  "video_width": 1552,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/12a18694-fd4b-47e7-9c50-34f30862cff6.jpg",
  "thumbnail_width": 1552,
  "thumbnail_height": 656
}

最后得到的结果与上文的类似的，生成的视频首帧包含了我们传入的图片，当然也可以同时传入首尾帧图片链接来生成视频，只需要在上面的基础上再加一个尾帧图片即可，尾帧的图片信息如下：

在这里插入图片描述

填写样例如下：

在这里插入图片描述

最后得出如下结果：

{
  "success": true,
  "task_id": "d1cb723a-e554-4775-94a4-bb6ae8c7ea67",
  "video_id": "6bebd0d2-f793-472e-9326-38528a9273bb",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://platform.cdn.acedata.cloud/luma/d1cb723a-e554-4775-94a4-bb6ae8c7ea67.mp4",
  "video_height": 656,
  "video_width": 1552,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/d1cb723a-e554-4775-94a4-bb6ae8c7ea67.jpg",
  "thumbnail_width": 1552,
  "thumbnail_height": 656
}

结果与上文是类似的，生成的视频同时包含了首帧与尾帧的图片，这也就完成了自定义首尾帧来生成视频。

视频扩展功能

如果想对生成的视频进行继续生成的话，可以将参数 action 设置为 extend ，并且输入需要继续生成视频的ID或者视频链接，视频ID和视频链接的获取是根据基本使用来获取，如下图所示：

这时候可以看到视频的ID为：

"video_id": "0105c090-03a5-425a-8026-523341cd575b",
"video_url": "https://platform.cdn.acedata.cloud/luma/12a18694-fd4b-47e7-9c50-34f30862cff6.mp4"

注意，这里的视频中 video_id 和 video_url 是生成后视频的ID和视频链接，如果你不知道如何生成视频，可以参考上文的基本使用来生成视频。

要想继续生成视频的话必须上传视频链接或视频的ID，下面演示使用视频ID来进行扩展，接下来我们要必须填关键词自定义生成视频，就可以指定如下内容：

  • action：此时扩展视频的行为，在这应为 extend 。
  • prompt：需要扩展视频的关键词。
  • video_url：需要扩展生成视频的链接。
  • video_id：需要扩展生成视频的唯一ID。
  • end_image_url：扩展生成视频可指定尾帧的图片链接，可选参数。

填写样例如下：

填写完毕之后自动生成了代码如下：

对应的Python代码：

import requests

url = "https://api.acedata.cloud/luma/videos"

headers = {
    "accept": "application/json",
    "authorization": "Bearer {token}",
    "content-type": "application/json"
}

payload = {
    "action": "extend",
    "video_id": "0105c090-03a5-425a-8026-523341cd575b",
    "prompt": "Astronauts shuttle from space to volcano"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

点击运行，可以发现会得到一个结果，如下：

{
  "success": true,
  "task_id": "c6e529d1-a06d-4c12-91b2-c855135131c3",
  "video_id": "36908c49-c2bb-4a11-bd5a-b8512b004818",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://platform.cdn.acedata.cloud/luma/c6e529d1-a06d-4c12-91b2-c855135131c3.mp4",
  "video_height": 656,
  "video_width": 1552,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/c6e529d1-a06d-4c12-91b2-c855135131c3.jpg",
  "thumbnail_width": 1552,
  "thumbnail_height": 656
}

可以看出该视频是在需要扩展的视频基础上进行扩展的，结果内容与上文的是一致的，这也就实现歌曲的继续生成功能。

当然我们也可以指定视频的链接来进行扩展生成，填如下信息：

运行后得到了如下结果：

{
  "success": true,
  "task_id": "1dcb5902-a7be-4b77-ba5d-dd8ec82b26ca",
  "video_id": "f0187dc2-339f-4a08-a435-c3a3341f620a",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://platform.cdn.acedata.cloud/luma/1dcb5902-a7be-4b77-ba5d-dd8ec82b26ca.mp4",
  "video_height": 656,
  "video_width": 1552,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/1dcb5902-a7be-4b77-ba5d-dd8ec82b26ca.jpg",
  "thumbnail_width": 1552,
  "thumbnail_height": 656
}

根据结果可以看出根据视频链接也可以实现视频扩展的功能。

最后我们还可以对扩展视频中指定一个尾帧图片来进行扩展，下面是尾帧图片信息：

在这里插入图片描述

接下来在上面的基础上添加尾帧图片信息，具体的如下所示：

在这里插入图片描述

点击运行后得到如下信息：

{
  "success": true,
  "task_id": "b816b2b4-c345-4673-9e19-83e91f91b643",
  "video_id": "c5400053-63e6-4206-8082-31cf9dd1e7ed",
  "prompt": "Astronauts shuttle from space to volcano",
  "video_url": "https://platform.cdn.acedata.cloud/luma/b816b2b4-c345-4673-9e19-83e91f91b643.mp4",
  "video_height": 656,
  "video_width": 1552,
  "state": "completed",
  "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/b816b2b4-c345-4673-9e19-83e91f91b643.jpg",
  "thumbnail_width": 1552,
  "thumbnail_height": 656
}

可以看出，在上文扩展视频的基础上，还可以指定尾帧图片来进行扩展。

异步回调

由于 Luma 生成视频的时间相对较长，大约需要 1-2 分钟，如果 API 长时间无响应，HTTP 请求会一直保持连接，导致额外的系统资源消耗，所以本 API 也提供了异步回调的支持。

整体流程是：客户端发起请求的时候，额外指定一个 callback_url 字段，客户端发起 API 请求之后，API 会立马返回一个结果，包含一个 task_id 的字段信息，代表当前的任务 ID。当任务完成之后，生成音乐的结果会通过 POST JSON 的形式发送到客户端指定的 callback_url，其中也包括了 task_id 字段，这样任务结果就可以通过 ID 关联起来了。

下面我们通过示例来了解下具体怎样操作。

首先，Webhook 回调是一个可以接收 HTTP 请求的服务，开发者应该替换为自己搭建的 HTTP 服务器的 URL。此处为了方便演示，使用一个公开的 Webhook 样例网站 https://webhook.site/，打开该网站即可得到一个 Webhook URL，如图所示：

在这里插入图片描述

将此 URL 复制下来，就可以作为 Webhook 来使用，此处的样例为 https://webhook.site/0c87ca0e-cd74-4577-8d68-f2b80fbf8a13。

接下来，我们可以设置字段 callback_url 为上述 Webhook URL，同时填入 prompt，如图所示：

点击运行，可以发现会立即得到一个结果，如下：

{
  "task_id": "732f8282-7cf8-401c-95f2-42c33aa079a6"
}

稍等片刻，我们可以在 https://webhook.site/0c87ca0e-cd74-4577-8d68-f2b80fbf8a13 上观察到生成歌曲的结果，如图所示：

内容如下：

{
    "success": true,
    "task_id": "732f8282-7cf8-401c-95f2-42c33aa079a6",
    "video_id": "4d8013c3-5de0-41aa-966e-0b1a51d1c633",
    "prompt": "Astronauts shuttle from space to volcano",
    "video_url": "https://platform.cdn.acedata.cloud/luma/732f8282-7cf8-401c-95f2-42c33aa079a6.mp4",
    "video_height": 752,
    "video_width": 1360,
    "state": "completed",
    "thumbnail_url": "https://platform.cdn.acedata.cloud/luma/732f8282-7cf8-401c-95f2-42c33aa079a6.jpg",
    "thumbnail_width": 1360,
    "thumbnail_height": 752
}

可以看到结果中有一个 task_id 字段，其他的字段都和上文类似，通过该字段即可实现任务的关联。

mynameonly
关注
AI在线免费视频工具1：文生视频、风格转转换、生成数字人播报
weixin_42357472的博客
05-23 1470
https://dreamina.jianying.com/ai-tool/home （抖音下面）暂时只能选择平台上的模版进行图像创造。
Luma AI：基于NeRF，文字、图片、视频都可生成3D模型
qingtingwang的博客
03-28 2343
上周，我们刚刚报道了3D内容方案商Luma AI完成2000万美元A轮融资消息，本周Luma AI继续宣布推出视频转3D场景API：Video-to-3D API。简单来说，现在Luma正式开放了NeRF能力，意味着正在进行商业化探索。正如最近很火爆的GPT等生成式AI那样，NeRF在最近两年同样是一项关注度极高的方案，而以NeRF为核心的Luma AI发展同样迅速。
Luma 视频生成 API 对接说明
最新发布
weixin_48244961的博客
08-09 1222
如果想通过自定义视频的首尾帧来生成视频，可以输入首尾帧的图片链接：这时候视频首帧字段可以传入以下图片作为视频的首帧：action：视频生成任务的行为，通常是普通生成generate和扩展生成extend，默认为generate。start_image_url：指定生成视频的首帧。end_image_url：指定生成视频的尾帧。prompt：生成视频的关键词内容。
只需5秒视频就能生成3D模型的AI工具——Luma AI
热门推荐
CCEEHM的博客
10-05 2万+
以往建一个3D场景，需要花费大量的时间和精力。现在有了Luma AI，可以轻松创造出电影级别的3D效果。即使一个小白也能分分钟掌握，基本达成人人零门槛设计3D建模啦！
Luma AI 初体验
m0_75253143的博客
07-20 1845
Luma AI 利用神经辐射场（NeRF）技术，将多视角的2D图像转换为逼真的3D模型。高质量3D重建：通过结合AI和计算机视觉技术，生成高分辨率、逼真的3D模型。多平台支持：支持各种设备，包括智能手机、平板电脑和计算机。易于使用：界面友好，适合不同技术水平的用户使用。快速处理：高效的算法保证了快速的模型生成。Luma AI的核心技术基于先进的人工智能和计算机视觉算法，特别是利用了神经辐射场（NeRF）技术。
Luma AI：视频生成界的新星，还是未来的王者？
bagell的博客
06-14 7236
Luma AI，这是一家成立于 2021 年 9 月的美国加州公司，专注于 3D 内容生成技术。该公司的核心技术是 NeRF（Neural Radiance Fields），这是一种三维重建技术，可以通过少量照片生成、着色和渲染逼真的 3D 模型。Luma 推出的 Dream Machine 基于 DiT 视频生成架构，能够在 120 秒内生成一个包含 120 帧的高质量视频，实现快速创意迭代。它能理解物理交互，确保生成的视频角色和场景具有一致性和物理准确性。
Luma3DSv10.0.1.zip
04-07
Luma3DS is a program to patch the system software of (New) Nintendo 3DS handheld consoles "on the fly", adding features (such as per-game language settings and debugging capabilities for developers) ...
luma ai 对接
07-17
Luma AI是一款人工智能平台，它专注于帮助企业自动化复杂的业务流程并提升客户体验。对接Luma AI通常涉及将其集成到现有的企业系统或应用中。这个过程包括以下几个步骤： 1. **认证和注册**：首先需要创建Luma AI...
3DS Luma 9.1 引导
10-19
3ds luma9.1引导升级文件。请把boot.firm覆盖到sd卡根目录（内存卡最上级目录）
2024生成式AI视频行业发展现状国内外龙头及未来发展方向分析报告
08-04
随后，报告分析了海外和国内市场主流的生成式视频参与者，包括 Luma AI、Runway、Pika、Sora 等，并比较了它们的产品功能和效果。报告还探讨了 AI 视频生成技术的迭代路径，从 GAN+VAE 到 Transformer、Diffusion，...
LumaAI：基于NeRF，文字、图片、视频都可生成3D模型
zxb_1222的博客
09-20 800
Luma AI是一个基于人工智能的三维捕捉、建模和渲染工具，旨在帮助用户创建逼真的、高质量的3D物体，你可以直接使用你的iPhone手机用AI创造令人难以置信的逼真的3D。AIGC是人工智能领域中的一种创新技术，其基本原理是利用人工智能技术中的“自然语言处理”、“机器学习”、“深度学习”等技术，对大量的语言数据进行深入分析、学习和模拟，从而实现对自然语言的理解和生成。价格方面，转换一个视频费用1美元，就是单纯的按照次数收费，不管视频容量大小，所以当然是尽量丰富视频的细节，转换时间在30分钟左右。
Luma AI 文生视频 图生视频，Luma API 接口对接教程
weixin_39606965的博客
07-24 1665
Luma AI, 文生视频，图生视频，Luma API 接口国内对接教程
Luma AI 推出梦幻机：据说吊打Sora和快手可灵（KLING）｜TodayAI
TodayAI
06-14 1916
根据 Luma AI 的描述，梦幻机是一种高度可扩展且高效的 Transformer 模型，直接在视频上进行训练，能够生成物理上准确的镜头。尽管 Sora 能够生成长达一分钟的高清视频，可灵（KLING）能生成长达两分钟的视频，梦幻机在公开测试中的表现也备受关注。在一次测试中，使用“彼得·潘在银河之间的地毯上飞翔”的提示，梦幻机花费约一个小时生成了视频。尽管如此，梦幻机的潜力不容忽视。Luma AI 认为，这是他们迈向未来的一小步，随着技术的不断进步和改进，梦幻机有望在文本生成视频领域占据重要地位。
视频生成式AI-Luma AI（Dream machine）详解附使用方法
玩AI的小胡子-博客
08-01 1052
Luma AI的Dream Machine为视频创作打开了新的大门，不再需要昂贵的设备或繁琐的后期制作。它降低了视频制作的门槛，使更多人能够轻松创造出专业水准的视频。当然，工具好不好用，实不实用还是要根据自身需求自己亲自去体验，毕竟AI再好，用不上那也没用。
一台手机即可完成 3D 建模，功能有多强大？ #Luma AI
shadowcz007的博客
01-11 6683
AIGC 的出现拓展了内容生产的诸多可能，借助 AI 技术来进行 3D 建模，可以节省不少的时间，市面上也出现了许多功能强大的 3D 建模工具。1 月 9 日，AppStore 上架了一款名为“Luma AI”的软件，能够将现实中的 2D 照片快速渲染出 3D 场景模型，无需手动上传电脑或者安装激光雷达，只要一台iPhone/iPad就能轻松生成 3D 模型。图源：Luma AI 官网Luma A...
Luma AI：上线丝滑关键帧动画
weixin_51674085的博客
07-01 735
现在有个新功能，只需两张图片，添加提示词即可从 A 无缝过渡到 B。Luma AI 的视频生成模型。
Sora不香了，Luma AI震撼发布Dream Machine，免费使用！AI电影时代真的要来了！
分享AI工具/AI副业玩法
06-13 4676
程序员X小鹿：2024，AI 视频大有可为。比如用 AI 来创作视频，做自媒体、做副业，或用于影视、广告、电商等行业的日常工作。Sora不香了，Luma AI震撼发布Dream Machine，免费使用！AI电影时代真的要来了！
Luma AI如何注册：文生视频领域的新星
Maynor的博客
06-16 1297
Luma AI 以其独特的功能和优势，为用户在视频生成和 3D 模型创建方面提供了便利和创新的体验。从简单的注册方式到强大的 Dream Machine，再到令人惊艳的生成效果和便捷的 3D 模型创建功能，Luma AI 正在不断改变着我们对文生视频和 3D 建模的认知。以上是为您整理的一篇关于 Luma 的技术博客，希望能帮助您更好地了解并使用 Luma AI 的产品与服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值