Background Matting V2 学习

最新推荐文章于 2024-08-08 07:34:16 发布

猪不爱动脑

最新推荐文章于 2024-08-08 07:34:16 发布

阅读量3.3k

点赞数 5

分类专栏：机器视觉文章标签：深度学习人工智能神经网络

本文链接：https://blog.csdn.net/qq_46292437/article/details/122033003

版权

本文详细介绍了背景抠图技术Background Matting V2，涵盖论文方法设计、网络模型和训练策略。通过ResNet-50等模型，实现快速、高分辨率的背景替换。项目提供了数据集、训练权重和推理代码，适用于实时抠图和背景替换应用。

摘要由CSDN通过智能技术生成

论文：

[2012.07810] Real-Time High-Resolution Background Matting (arxiv.org)

GitHub项目源码：GitHub - PeterL1n/BackgroundMattingV2: Real-Time High-Resolution Background Matting

论文学习

方法设计：

给定图像 $I$ ，背景图 $B$ ，alpha遮罩图 $\alpha$ ，前景图 $F$

则可以在新的背景图B' 合成新的图像I' ，描述为: ${I}'=\alpha F+(1-\alpha ){B}'$

并且通过求解前景残差： $F^{R}=F-I$

最后的前景图可以通过： $F=max(min(F^{R}+I,1),0)$

网络模型：

网络模型分成两部分：基础网络 ${G_{base}}^{}$ 和优化网络 ${G_{refine}}^{}$

${G_{base}}^{}$ ：包括三个模块Backbone、ASPP和Decoder。Backbone提供ResNet-50、ResNet-101、MobileNetV2使用。ASPP由3、6和9尺寸的卷积滤波器组成，采用DeepLab-V3构成的编解码网络结构。Decoder则是进行每一步应用双线性上采样构成的解码器网络。输入下采样的图像及相应背景图 $I_{c}$ 和 $B_{c}$ ，得到粗糙的alpha通道图 $\alpha _{c}$ 、前景残差图 $F_{c}^{R}$ 、误差预测图 $E_{c}$ 和网络隐藏特征 $H_{c}$ 。