实时高分辨率背景抠图: 助力创新视觉体验

实时高分辨率背景抠图: 助力创新视觉体验

BackgroundMattingV2Real-Time High-Resolution Background Matting项目地址:https://gitcode.com/gh_mirrors/ba/BackgroundMattingV2

探索【实时高分辨率背景抠图】——这个开源项目是Real-Time High-Resolution Background Matting论文的官方存储库。在Nvidia RTX 2080 TI GPU上，模型只需捕获额外的背景图像，即可实现4K 30fps和HD 60fps的顶级抠像效果。

• 项目官网
• 观看项目视频演示

注意: 本仓库中的视频转换脚本并不设计为实时应用。我们的主要研究贡献在于神经架构的设计以及新的抠像数据集。inference_speed_test.py 脚本可让你测量模型的张量吞吐量，应达到实时性能。inference_video.py 脚本允许你在模型上测试你的视频，但视频编码和解码没有硬件加速和并行化处理。对于实际生产环境，你需要进行额外工程以实现硬件编码/解码和并行加载帧至GPU。更多架构细节，请查阅我们的论文。

项目概述

• 更新日志
• 下载资源
  • 模型/权重
  • 视频/图片示例
  • 数据集
• 演示
  • 脚本
  • 笔记本
• 使用文档
• 训练过程
• 项目成员
• 许可证

新论文发布！

查看鲁棒视频抠图！我们的新方法无需预先捕捉背景，且运行速度更快！

下载资源

模型/权重

• 在GitHub上下载模型/权重
• 在Google Drive上下载模型/权重

视频/图片示例

• 高清视频（由Sengupta等提供）（我们的模型在高清素材上表现更稳健）
• [4K视频和图像](https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing）

数据集

• 下载数据集

演示

脚本

仓库中提供了几个脚本供您实验我们的模型，文件中包含了更详细的说明。

• inference_images.py: 对一个目录中的图片进行抠图操作。
• inference_video.py: 对视频进行抠图操作。
• inference_webcam.py: 使用摄像头进行交互式抠图演示。

笔记本

此外，还可以通过Google Colab尝试对图像和视频进行抠图的笔记本。

• 图像抠图（Colab）
• 视频抠图（Colab）

虚拟摄像头

我们提供了一个演示应用程序，它将从网络摄像头接收视频，通过我们的模型处理后输出到虚拟摄像头。该脚本仅适用于Linux系统，并可在Zoom会议中使用。更多信息，请参见：

• Webcam 插件

使用/文档

我们的模型支持PyTorch，TorchScript，TensorFlow和ONNX。有关使用我们模型的详细信息，请访问使用/文档页面。

训练

配置data_path.pth指向您的数据集。原论文中先使用train_base.pth训练基础模型直到收敛，然后使用train_refine.pth训练整个网络端到端。更多细节见论文内描述。

项目成员

• 林山川*，华盛顿大学
• 安德烈·拉亚布特塞夫*，华盛顿大学
• Soumyadip Sengupta，华盛顿大学
• 布莱恩·库里勒斯，华盛顿大学
• 史蒂夫·西茨，华盛顿大学
• 伊拉·凯梅尔马赫-席勒曼，华盛顿大学

^{* 平等贡献。}

许可证

本作品根据MIT许可证授权。若在项目中使用了我们的工作，请考虑包含认可声明并填写我们的调查表单。

社区项目

由第三方开发者开发的相关项目。

• After Effects 插件

---

本文档旨在向您展示一个强大的实时高分辨率背景抠图工具，无论您是从事影视后期、虚拟现实或增强现实领域，都将从中受益。立即加入社区，利用这款工具释放无限创意可能！

BackgroundMattingV2Real-Time High-Resolution Background Matting项目地址:https://gitcode.com/gh_mirrors/ba/BackgroundMattingV2