港中文、腾讯等联合发布!DynamiCrafter:任意图像秒变动态视频,超高清无缝衔接

1986 年,CCTV-1 播出的《葫芦娃》一经亮相便收获了广泛好评,更是成为无数 80 后、90 后珍贵的童年回忆,但这部经典动画,其实是由工作人员绘制了约 20 万幅图像组合而成的。

葫芦娃的不同图像

根据剧情发展,工作人员会拼接角色关节摆出动作,并将其以每秒 24 帧画面拍摄成视频形式,让观众形成一种视觉感差, 即认为角色是会活动的。

动图封面

角色关节拼接

事实上,动态视频就是由一帧帧画面连续播放而来。 起初,人们在画纸上勾勒图景,通过快速翻动纸张让图像「活」起来;随后,计算机、摄像机可以将 24 帧以上的画面在 1 秒内保留,造成一种快速连贯的动态视觉效果。至此,视频技术在模拟自然场景的随机动态(如云和流体)或特定领域的运动(如人体动作)方面取得了很大进展。

动图封面

花的盛开过程

然而,无论是拍摄而成的真实景象,还是虚拟的动画、动漫,动态视频的呈现都需要有画面连续的素材支撑,例如要展现鲜花盛放的完整周期,人们便需要真的去等待花开,并逐帧记录。

动图封面

静态图 + girl's hair blowing in the wind = 过程动画视频

AI 的出现突破了这一限制。由香港中文、腾讯 AI Lab、北大强强联手推出的 DynamiCrafter 模型利用视频扩散先验技术模拟真实世界的运动模式,** 结合文本指令,即可将图片转换为动态视频,能处理包括风景、人物、动物、交通工具、雕塑等几乎所有类型的静态图像,生成的动态视频高清晰、超流畅、无缝衔接,每一个细节都能拿捏得恰到好处!

动图封面

起始帧图片+结束帧图片+a smiling girl=过程动画视频

DynamiCrafter 在应用场景上更是大显神通,具体应用案例包括但不限于:

娱乐媒体:为电影、游戏、虚拟现实环境创造动态背景和角色动画。

文化教育:将历史照片转换为动态形式,为文化遗产提供新的互动方式;制作教育视频,将图像动态化来解释复杂概念;将科学数据或模型转为直观动态,减少科学研究的沟通壁垒。

社交营销:生成吸引人的动态图像和短视频,用于社交媒体广告和品牌推广;通过动态图像讲述故事,为书籍、电子书的宣传增添视觉效果。

为了帮助大家更好地体验 DynamiCrafter,HyperAI超神经上线了「DynamiCrafter AI 视频生成工具」教程! 该教程为大家搭建好了环境,无需再等待模型下载训练,点击克隆即可一键启动,丝滑视频瞬间制作!

教程地址:https://hyper.ai/tutorials/31974

以上教程基于 WebUI,简单易用,但局部精准化控制有限,ComfyUI 基于节点式的界面和工作流,可以通过改变节点来实现不同效果,赋予用户更高的自由度和创作空间。因此,HyperAI超神经同时上线了「ComfyUI DynamiCrafter 图生视频工作流」教程。 具体教程详情看 HyperAI超神经今日发布的次条内容。

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「DynamiCrafter AI 视频生成工具」,点击「在线运行此教程」。

  1. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

  1. 点击右下角「下一步:选择算力」。

  1. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

  1. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

  1. 该教程可以实现以下 2 种效果,下面将逐一为大家演示:
    通过图片和文本提示生成视频;
    通过起始帧、结束帧和提示词生成视频。

通过图片和文本提示生成视频

  1. 新建一个终端,运行「cd DynamiCrafter」切换至 DynamiCrafter 目录下。

  1. 执行「python gradio_app.py」命令,稍等片刻,当命令行出现「https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中打开 Gradio 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

  1. 打开 Gradio 页面后,上传一张照片和并增加一段文本描述(例如:fireworks display),点击「Generate」后,稍等片刻,即可生成视频。

动图封面

通过起始帧、结束帧和提示词生成视频

  1. 返回终端界面,通过「Ctrl + C」终止当前进程后,随后运行「python gradio_app_interp_and_loop.py」命令,待命令行出现「https://0.0.0.0:8080」后,打开右侧 API 地址。

  1. 在 Gradio 页面,上传一个起始帧图片、结束帧图片以及一段文本描述(例如:a smiling girl),点击「Generate」即可生成视频。

动图封面

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成Jupyter Notebook的形式。

点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是 HyperAI超神经本次分享的全部内容了,如果大家看到优质项目,欢迎后台留言推荐给我们!

  • 8
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 《Matlab神经网络43个案例分析》是一本介绍Matlab神经网络应用的实用书籍,由王小川等人编写,由北京航空航天大学出版社出版。本书收集了43个实际案例,内容涵盖神经网络的基础知识、分类、回归、聚类等多个方面。每个案例都详细介绍了Matlab代码实现的过程,并给出实现过程中需要注意的问题和注意事项。本书适合研究神经网络的初学者和想进一步应用神经网络的工程师、科研人员及教师参考。通过读此书,可以了解神经网络在不同领域中的应用,如语音识别、手写数字识别、图像分割、医学图像分析等,同时也可以学习如何使用Matlab工具箱快速实现神经网络模型。 总的来说,本书内容丰富,代码实现清晰易懂,对于初学者来说是非常有帮助的。同时,此书也值得进一步发掘和研究,以便更好地应用于实践。 ### 回答2: 《MATLAB神经网络43个案例分析》是由王小川等人所著的一本关于MATLAB神经网络应用的案例分析书籍。该书共收录了43个实际案例,旨在通过实际案例的分析,帮助读者深入掌握神经网络在MATLAB中的应用。该书主要包括以下方面的内容: 第一部分为MATLAB神经网络的基础知识,包括了神经网络的概念、分类、应用场景等。 第二部分为神经网络的建模方法和步骤,包括了神经网络的构建、训练、测试、优化等。 第三部分则是针对43个实际案例进行的MATLAB神经网络应用实战分析,覆盖了各个领域,包括了预测、分类、识别、优化等等。 此外,本书还提供了详细的MATLAB源代码,方便读者学习和参考。可以看出,该书内容全面、实用性强,不仅适合MATLAB神经网络初学者的学习,也适合已有一定基础的读者深入学习和应用。 ### 回答3: 《matlab神经网络43个案例分析》这本书由王小川等人编写,于2013年由北京航空航天大学出版社出版。书中共收录了43个不同领域的任务案例,通过这些案例来介绍和应用神经网络的基本原理和方法。 全书分为七章,其中第一章是介绍神经网络的基础理论和模型,并详细讲解了神经元、激活函数、权值、偏置等概念。接着,第二章到第六章分别介绍了神经网络用于回归、分类、聚类、特征提取和时间序列分析等任务的应用案例。每个案例都有详细的数据预处理、网络设计、训练和测试的步骤,方便读者学习和实践。 此外,第七章还深入介绍了神经网络的优化方法、参数选择技巧和模型改进策略,为读者提供了更广阔的思路和方法。 这本书适合对神经网络有一定基础的读者进行深入学习和实践。同时,由于案例涵盖了不同领域的任务,也适合不同学科背景的读者学习和参考。总体上,该书内容丰富、案例具体、讲解详细,值得一读。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值