大片既视感!快速生成好莱坞特效视频的开源库

【导语】:SkyAR 是一种基于视觉的视频天空置换和协调方法,将某个视频中的真实天空背景,通过 AI 替换成类似科幻片中的电影场景,效果非常震撼。

简介

SkyAR 是一种基于视觉的视频天空置换和协调方法,可以在可控风格的视频中自动生成逼真和生动的天空背景,作者是Zhengxiao Zou。该方法是完全基于视觉的,可以处理非静态图像,而且对拍摄设备没有任何要求,也没有用户交互,可以很好地处理在线或离线视频。这个算法的处理过程主要包括天空渲染、运动估计和图像混合。

项目地址

https://github.com/jiupinjia/SkyAR

下载安装

1.安装以下依赖库


2.下载项目源码

git clone https://github.com/jiupinjia/SkyAR.git 
cd SkyAR

3.下载预训练模型并解压(国内需要木弟子)

https://drive.google.com/file/d/1COMROzwR4R_7mym6DL9LXhHQlJmJaV0J/view?usp=sharing
unzip checkpoints_G_coord_resnet50.zip

简单使用

我们直接使用项目提供的视频和天空模板进行体验:

1. 使用影片《第九区》中的飞船做天空背景模板

python skymagic.py --path ./config/config-canyon-district9ship.json

效果如下:

2.使用超级月亮做天空背景模板

python skymagic.py --path ./config/config-annarbor-supermoon.json

效果如下:

修改配置使用自定义视频和天空模板

在config目录下,有一些json格式的配置文件,我们可以根据自己的情况更改视频和天空模版,以修改 config-canyon-galaxy.json 为例:

{
  "net_G": "coord_resnet50",
  "ckptdir": "./checkpoints_G_coord_resnet50",
  "input_mode": "video",
  "datadir": "./test_videos/annarbor.mp4",
  "skybox": "floatingcastle.jpg",
  "in_size_w": 384,
  "in_size_h": 384,
  "out_size_w": 845,
  "out_size_h": 480,
  "skybox_center_crop": 0.5,
  "auto_light_matching": false,
  "relighting_factor": 0.8,
  "recoloring_factor": 0.5,
  "halo_effect": true,
  "output_dir": "./eval_output",
  "save_jpgs": false
}

ckptdir 为预训练模型文件解压后的目录,datadir 为输入视频的目录,skybox 为使用的天空模版,生成效果视频保存到 output_dir 目录中。

修改好配置文件,使用以下命令直接运行:

python skymagic.py --path .\config\config-canyon-galaxy.json

使用浮动的城堡为天空背景,效果如下:

官网有相关的官方视频可供欣赏,感兴趣的同学可以试试。

开源前哨 日常分享热门、有趣和实用的开源项目。参与维护 10万+ Star 的开源技术资源库,包括:Python、Java、C/C++、Go、JS、CSS、Node.js、PHP、.NET 等。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值