动态天空置换算法SkyAR体验

最新推荐文章于 2024-05-21 17:26:41 发布

积雨辋川

最新推荐文章于 2024-05-21 17:26:41 发布

阅读量440

点赞数

分类专栏：计算机视觉 Python 文章标签：人工智能 python 计算机视觉

本文链接：https://blog.csdn.net/weixin_53065229/article/details/127820634

版权

计算机视觉同时被 2 个专栏收录

14 篇文章 1 订阅

订阅专栏

Python

11 篇文章 0 订阅

订阅专栏

动态天空置换算法SkyAR体验

之前在手机拍照过程中体验过一些有趣的AR特效，而近日偶然发现这个动态天空置换算法SkyAR，遂将实现过程记录如下。

github网址：https://github.com/jiupinjia/SkyAR

论文网址：Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

效果演示

代码运行

1. 下载代码

git clone https://github.com/jiupinjia/SkyAR.git

2. 搭建虚拟环境

conda create -n SkyAR python=3.9

conda activate SkyAR

3. 安装依赖

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

Requirement.txt

matplotlib
scikit-image
scikit-learn
scipy
numpy
torch
torchvision
opencv-python
opencv-contrib-python

4. 下载权重文件

链接：https://pan.baidu.com/s/1gCzZX6Qpxv3PLtcYetuCaw
提取码：gou6

将权重文件放至SkyAr目录下

5. 代码测试

在虚拟环境下运行

python skymagic.py --path ./config/config-canyon-galaxy.json

优惠劵

积雨辋川

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
动态天空置换算法SkyAR体验

之前在手机拍照过程中体验过一些有趣的AR特效，而近日偶然发现这个动态天空置换算法SkyAR，遂将实现过程记录如下。
复制链接

扫一扫

专栏目录

SkyAR:pytorch正式实施预印本《天空之城》

03-15

SkyAR | | pytorch在preX上的正式实现：“天空中的城堡：视频中动态的天空替换和协调”，arXiv：2010.11800。我们提出了一种基于视觉的视频天空替换和协调方法，该方法可以在样式可控的视频中自动生成逼真的戏剧性天空背景。与以前的专注于静态照片或需要惯性测量单元集成在智能手机中以拍摄视频的天空编辑方法不同，我们的方法完全基于视觉，对捕获设备没有任何要求，可以很好地应用于在线或离线处理方案。我们的方法实时运行，没有用户交互。我们将此艺术创作过程分解为几个代理任务，包括天空遮罩，运动估计和图像融合。实验是通过手持智能手机和行车记录仪在野外拍摄的各种视频进行的，它们显示了我们的方法的高保真度，并且在视觉质量和照明/运动动态方面都很好地概括了我们的方法。在此存储库中，我们基于Pytorch实施了论文的完整培训/测试流程，并提供了一些演示视频，可用于重现论文

建造自己的「天空之城」，密歇根大学博士后的这项研究可以虚空造物、偷天换日...

zandaoguang的博客

10-26

353

机器之心报道机器之心编辑部看过宫崎骏动画电影《天空之城》的小伙伴，想必偶尔会向往那座神秘的空中岛屿拉普达吧。近日，密歇根大学安娜堡分校博士后研究员 Zhengxia Zou 进行了一项研...

参与评论您还未登录，请先登录后发表或查看评论

大片既视感！快速生成好莱坞特效视频的开源库

osfront的博客

03-13

1050

【导语】：SkyAR 是一种基于视觉的视频天空置换和协调方法，将某个视频中的真实天空背景，通过 AI 替换成类似科幻片中的电影场景，效果非常震撼。简介 SkyAR 是一种基于视觉的视频天空置换和协调方法,可以在可控风格的视频中自动生成逼真和生动的天空背景，作者是ZhengxiaoZou。该方法是完全基于视觉的，可以处理非静态图像，而且对拍摄设备没有任何要求，也没有用户交互，可以很好地处理在线或离线视频。这个算法的处理过程主要包括天空渲染、运动估计和图像混合。项目地址 https://git.

AI偷天换日-视频背景自动转换实践

老银的博客

10-28

920

背景最近注意到了-密歇根大学博士后的视频背景动态转换研究。就决定自己试试，先上实验后的结果随手在下载一个视频，然后作为转换的demo，不到10分钟，便产生如上图的视频。真香系列话不多说，直接进入我们主题，如何进行系统操作，并如何部署成我们自己想要的服务。等我娓娓道来实践找到github项目地址，clone到本地服务，无外乎就是搭建环境，训练模型，跑起服务，然后做个性化定制提供接口等服务。项目地址： https://github.com/jiupi...

如梦如幻，开源实时的天空特效算法！

我爱计算机视觉

10-26

346

Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos实时天空检测与背景替换，无需手工交互，无需其他...

国庆出游神器：魔幻黑科技换天造物，让vlog秒变科幻大片！

华为云官方博客

09-30

1248

摘要：国庆旅游景点人太多，拍出来的照片全是人人人、车车车，该怎么办？不妨试试这个黑科技，让你的出游vlog秒变科幻大片。

偷天换日，逼真的天空置换算法

AI科技大本营

10-27

817

责编 |晋兆雨来源 |Jack Cui头图 | CSDN付费下载于视觉中国前言天空，是摄像中的一个关键元素。游戏的天空，我们可以随意调节，可以是晴空万里，也可以是风雨交加。现实的天空...

python 视频特效库,大片既视感！快速生成好莱坞特效视频的开源库

weixin_39618597的博客

03-25

706

【导语】：SkyAR 是一种基于视觉的视频天空置换和协调方法，将某个视频中的真实天空背景，通过 AI 替换成类似科幻片中的电影场景，效果非常震撼。简介SkyAR 是一种基于视觉的视频天空置换和协调方法,可以在可控风格的视频中自动生成逼真和生动的天空背景，作者是ZhengxiaoZou。该方法是完全基于视觉的，可以处理非静态图像，而且对拍摄设备没有任何要求，也没有用户交互，可以很好地处理在线或离线...

航拍+AI︱paddlepaddle图像分割实现天空风格迁移（换天、漂浮城堡、宇宙飞船）

素质云笔记

02-13

2405

1 介绍环节昨天那篇写的是：航拍+AI︱极简的视频风格迁移体验是把航拍的风景图进行整体的风格迁移，不过从成片效果来看，太过于超现实。本篇是想考量局部的风格迁移，使用的是paddlepaddle开源的一款模型，PaddleHub 中的SkyAR，源教程为：SkyAR：一键完成视频魔法换天，不得不说，paddle开源了很多有意思的项目，值得玩一下。先来看看，SkyAR可以实现的效果原视频图：改编视频图： SkyAR 是一种用于视频中天空置换与协调的视觉方法，该方法能够在风格可控的视频中自动

SkyAR预训练模型 best_ckpt.pt

11-06

该文件是SkyAR项目的预训练模型。Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

页面置换算法（java）

02-26

最佳置换算法、先进先出置换算法、最近最久未使用置换算法(LRU) 在一个请求分页系统中，分别采用最佳置换算法、先进先出置换算法、最近最久未使用置换算法(LRU)时，假如一个作业的页面走向为4、3、2、1、4、3、5、4...

用C++实现LRU页面置换算法

06-03

使用LRU算法实现页面置换算法。LRU算法基于一种假设，长期不使用的数据，在未来的使用性也不大。因此，当数据占用内存达到一定的阙值时，我们要移除最近最少使用的数据。LRU算法中，使用了一种有趣的数据结构，叫做...

页面置换算法的模拟实现.docx

03-03

a:最佳置换算法(OPT)：将以后永不使用的或许是在最长(未来)时间内不再被访问的页面换出。 b: 先进先出算法(FIFO)：淘汰最先进入内存的页面，即选择在内存中驻留时间最久的页面予以淘汰。 c：最近最久未使用算法(LRU)...

java实现页面置换算法

08-18

主要为大家详细介绍了java实现页面置换算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

实验报告3页面置换算法演示.doc

08-23

页面置换算法演示实验目的 1. 分析内存管理办法中每个页面置换算法原理； 2. 掌握页面置换算法执行过程。二、实验预备内容 1. 熟悉内存管理办法； 2. 熟悉页面置换算法原理； 3. 熟悉不同页面置换算法的置换过程。...

opencv-python处理图片的一些列操作之几何变换

东方佑

07-02

818

一般的变换放大缩小（都是由插值算法得到的，但是都会有损失，目前的超分辨率网络，应该是最好的图像算法，到时候会讲一下超分辨率网络）直接进入opencv函数（具体插值算法可百度，简单的很）

RANSAC算法概述

点云侠的博客

05-20

999

RANSAC算法概述

让动物世界触手可及——好用的动物识别API合集

最新发布

youqingy的博客

05-21

1052

用户只需要上传一张包含动物的图像或视频，API就能够自动识别出其中的动物种类，并给出相应的分类结果。通过API接口，用户可以上传动物的照片，API会自动识别动物的种类和特征，并提供相关的标签和描述，帮助用户在社交媒体上更好地展示和分享自己的宠物。通过API接口，犬只安全管理部门可以上传犬只的鼻纹图像，API会自动识别和匹配犬只的身份信息和安全等级，帮助监测和保护公共区域和设施的安全。通过API接口，用户可以上传犬只的鼻纹图像，API会自动识别和记录犬只的身份信息和来源，帮助监控和管理犬只的流通和交易过程。

最佳置换算法编程实现页面置换算法

04-23

最佳置换算法是一种页面置换算法，其思想是查找内存中将来最长时间不使用的页面，然后将当前页面替换成该页面。以下是最佳置换算法的编程实现。首先，我们需要定义一个列表来存储当前内存中的页面和它们的访问时间。每当页面被访问时，我们需要更新它的访问时间。 ``` # 定义列表来存储页面和它们的访问时间 memory = [] # 初始化内存 def initialize_memory(size): global memory memory = [[None, float("inf")] for _ in range(size)] # 更新页面的访问时间 def update_access_time(page): global memory for i in range(len(memory)): if memory[i][0] == page: memory[i][1] = float("inf") else: memory[i][1] -= 1 # 查找最长时间不使用的页面 def find_replace_page(): global memory replace_page = None for page, access_time in memory: if access_time < float("inf"): if replace_page is None or access_time > memory[replace_page][1]: replace_page = memory.index([page, access_time]) return replace_page ``` 然后，我们需要实现最佳置换算法的主要逻辑。当内存已满且新页面需要插入时，我们需要查找最长时间不使用的页面并将其替换成新页面。 ``` # 最佳置换算法 def best_fit(page): global memory if [page, float("inf")] not in memory: page_index = None for i in range(len(memory)): if memory[i][0] is None: memory[i] = [page, float("inf")] return elif memory[i][0] == page: update_access_time(page) return elif page_index is None or memory[i][1] > memory[page_index][1]: page_index = i memory[page_index] = [page, float("inf")] else: update_access_time(page) # 页面替换 def page_replace(algo, pages, size): global memory initialize_memory(size) page_faults = 0 for page in pages: if page not in [p[0] for p in memory]: page_faults += 1 if None in [p[0] for p in memory]: memory[[p[0] for p in memory].index(None)] = [page, float("inf")] else: replace_page_index = find_replace_page() memory[replace_page_index] = [page, float("inf")] else: update_access_time(page) return page_faults ``` 最后，我们可以调用 `page_replace` 函数来测试最佳置换算法。 ``` pages = [7, 0, 1, 2, 0, 3, 0, 4, 2, 3, 0, 3, 2] print("Page faults:", page_replace("best_fit", pages, 4)) ``` 输出结果为: ``` Page faults: 7 ```

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交