详解 Rope (Opal-03a) 的变化

若苗瞬

已于 2024-04-08 15:05:14 修改

阅读量3.2k

点赞数 11

分类专栏： Windows 人工智能/机器学习 Python 文章标签： Rope opal facefusion GPEN GFPGAN

于 2024-02-29 12:45:07 首次发布

本文链接：https://blog.csdn.net/ddrfan/article/details/136362802

版权

Windows 同时被 3 个专栏收录

95 篇文章 21 订阅

订阅专栏

Python

66 篇文章 8 订阅

订阅专栏

人工智能/机器学习

58 篇文章 35 订阅

订阅专栏

（一）特点

最新版本的Rope叫猫眼石（Opal）。
最大的改变是界面（这里提到过），变成了类似视频处理软件的风格。
改动大就容易引入bug，所以最近几次作者的更新都在修复bug们。

昨天更新到Opal-03a后，俺发现之前的bug似乎都消失了。
在这里插入图片描述

（二）使用流程

虽然界面大变，但整个使用流程是没有变化的。

设置src面容/dst目标视频图片/输出目录（只需要设置一次，以后点击【Start Rope】就加载了）。
选择一个dst并找到面容，选择src或src的组合（embedding）进行替换。
调整参数使得预览结果更自然。
录制视频到输出目录。

当前选中的dst，面容，替换对象，都有明显的选中标记（红框）。
启用的参数，也都会变成高亮的白色。

（三）界面

变成了左中右结构。

左：目录区域 —— src、dst、输出目录设置。以及目录中的内容。
中：预览控制 —— 播放控制界面，找到的面容，替换快捷方式。
右：各种参数。

在这里插入图片描述

（四）详解

（4.1）目录区域

在这里插入图片描述

⭐Start Rope

① 当你把2，3，4的目录都设置好后。
以后每次使用只需要点击这个按钮，就会加载各个目录中内容。

⭐Video Folder

② 选择输入的（dst）目标视频/图片目录，下方会显示目录中视频/图片列表。
PS：只需要设置一次。

⭐Output Folder

③ 选择输出目录。
PS：只需要设置一次。

⭐Faces Folder

④ 选择输入的（src）面部图片所在目录，下方会显示目录中找到的人物列表。
PS：只需要设置一次。

（4.2）预览控制

在这里插入图片描述

⭐Enable Audio

预览时打开声音。
如果你的显卡性能不错，可以打开这个选项，有声的实时预览替换结果。
不过性能跟不上会导致音画不同步。

⭐Show Mask

显示遮罩区域。
启用后预览界面会变成面部和遮罩两个区域，便于观察遮罩情况（正式用时请关掉）。
在这里插入图片描述

⭐Video Image

切换dst是用视频还是图片。

⭐预览位置+当前帧数

在这里插入图片描述
拖放滑块，改变目标视频预览的位置。
在进度条上滚动鼠标滚轮，可以控制 上一帧 / 下一帧。

⭐播放控制

在这里插入图片描述
依次是：
|<回到最前，<<回退30帧，录制，播放，>>前进30帧。
PS：之前很方便的asdw键盘控制暂时没法用了，所以难以精确定位。

⭐标记控制

在这里插入图片描述
依次是：
增加标记点，删除当前标记点，移动到上个标记点，移动到下个标记点。
标记点上记录的是参数的设置，作用于当前标记点到下个标记点之前的帧。
PS：之前的结束点设置暂时缺失，所以只能 “换到底” 或者 “手动停止”。

⭐Save Image

保存当前预览界面显示的内容（显示什么就保存什么）。

⭐Find faces

寻找dst当前帧中的人物，找到就添加到人物列表①中。

⭐Clear faces

清空人物列表①中的所有人物。

⭐Swap faces

点亮才启用替换，这个按钮放在这个位置，似乎逻辑不太对。

⭐Delete Embs

删除②中选中的Embedding。

⭐Faces in dst list

① 可以从dst视频多帧中找到多个人物，都会列表显示在这里。

⭐Embedding of src list

② Embedding，也就是src组合快捷方式列表区域，相当于几个src面容组合的快捷方式。
没有单独的添加按钮，只需要选中几个src，再录入名称，回车，就新建好一个Embedding了。
保存在merged_embeddings.txt中。

（4.3）参数区域

⭐VRAM

在这里插入图片描述
清理显存按钮，以及显存占用比例情况。

⭐Params

在这里插入图片描述
保存当前参数（saved_parameters.json），加载保存的参数，加载缺省参数。

⭐Restorer

在这里插入图片描述
选择是否启用超分辨率。

Restorer Type：速度: GPEN256>GFPGAN>CF>GPEN512
Alignment：为修复程序选择人脸的对齐方式。原版（Original）保留面部特征和表情，但可能会显示一些伪影。参考参考（Reference）会柔化特征。混合（Blend）更接近参考（Reference）但速度更快。
BLENDS：将还原结果与原始交换结果混合的修复量。