backgroundMattingV2的pytorch验证（inference_images.py）

已于 2022-05-06 09:56:14 修改
阅读量1.6k 收藏 6
点赞数 1
文章标签： pytorch 人工智能 python
于 2022-05-05 19:21:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46022167/article/details/124591951
版权

最近的时间花在了backgroundMattingV2上，它是前段时间比较火的AI抠图开源项目，网上关于他的实践代码较少，一点点把自己的实践过程记录一下。

下图是相应的配置。

--model-type 选择mattingbase或者mattingrefine，bacbone选择'resnet101', 'resnet50', 'mobilenetv2'其一，--model-checkpoint是backbone的预训练权重，（提取码b7wq）注意对应的权重要下载对，代码中的backbone也要改。

backbone_scale: 图像下采样的比例系数，通过指定模型进行下采样的多少，默认是0.25，不能超过0.5

--model-refine-mode是优化区域选择模式：

full : 所以地方都经过regular Conv2d层进行优化。优化整个图像，仅用于调试。

sampling : 仅对错误率最高的几处地方优化，它适用于每帧的计算和内存消耗有固定上限的实时应用。

thresholding ：对错误率超过指定阈值的像素区进行优化，动态优化错误超过阈值的所有像素，它适用于质量超过计算速度的图像编辑应

最低0.47元/天 解锁文章
tianDdda
关注
【笔记】Background Matting V2
Kaleidoscope的博客
01-28 5353
Background Matting v2（以下简称BGM2），一种实现人像抠图的算法。本文为阅读笔记
background matting v2
IT_Herven的博客
06-28 743
background matting v2 Abstract 作者引入了一种实时、高分辨率的背景替换技术，该技术在现代 GPU 上以 30fps 的 4K（3840×2160）分辨率和 60fps 的 HD（1920×1080）分辨率运行。 使用两个神经网络； 基础网络计算低分辨率结果，该结果由第二个网络在选择性补丁（selective patches）上以高分辨率运行。 介绍两个大规模视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。 https://grail.c
BackgroundMattingV2：实时高分辨率背景抠像
02-04
实时高分辨率背景抠像 论文的官方资料库。 我们的模型需要捕获额外的背景图像，并在Nvidia RTX 2080 TI GPU上以4K 30fps和HD 60fps产生最新的消光效果。 总览 更新 [2021年1月9日] PhotoMatte85数据集现已发布。 [2020年12月21日]我们将项目更新为MIT许可证，该许可证可用于商业用途！ 下载 型号/重量 视频/图像示例 （由）（我们的模型在高清素材上更加强大） 数据集 VideoMatte240K（即将推出） 演示版 剧本 我们在此存储库中提供了几个脚本，供您试验我们的模型。 文件中包含更详细的说明。 inference_image
Background Matting-v2
zxrc的博客
07-21 1915
一、要解决的问题 抠图问题：I=α∗F+(1−α)∗BI=\alpha*F+(1-\alpha)*BI=α∗F+(1−α)∗B 输出高质量alpha，保留发丝细节 二、创新点 两阶段抠图：base-matting与refine-matting，由粗到细 base阶段预测额外预测Error Map，用于表征需要refine的区域 两个数据集：图像数据集PhotoMatte85和视频数据集VideoMatte240K 三、具体细节 MattingBase网络： Base网络是基于Deeplabv3+修
BackgroundMattingV2：超清背景抠图，重塑影像艺术的技术革命
gitblog_00074的博客
03-20 670
BackgroundMattingV2：超清背景抠图，重塑影像艺术的技术革命 BackgroundMattingV2Real-Time High-Resolution Background Matting项目地址:https://gitcode.com/gh_mirrors/ba/BackgroundMattingV2 项目简介 是一个由PeterL1n开发的深度学习项目，专注于实现高质量、实时...
mmpose 安装及使用pretrained model 运行inferencer_demo.py Running RTMPose,ViTPose,YoloPose模型
qq_33690342的博客
08-06 706
mmpose 安装运行human pose estimation 模型ViTPose，RTMPose, Yolopose
Background Matting V2 学习
qq_46292437的博客
12-20 3433
Background Matting V2 学习
智能数字图像处理之FastRCNN（pytorch）代码解读之faster_rcnn_framework.py
com_fang_bean的博客
09-19 2739
class FasterRCNNBase(nn.Module): 广义R-CNN的主要类。参数:支柱(nn.Module):项(nn.Module):roi_heads (n . module):从RPN获取特性+建议并计算探测/遮罩。转换(n . module):执行从输入到feed的数据转换该模型 def __init__(self, backbone, rpn, roi_heads, transform):-》参数重新赋值給变量 super(FasterRCNNBase, se...
idm-vton_pytorch可用于虚拟换装 AIGC模型
qq_27815483的博客
09-05 1163
idm-vton_pytorch可用于虚拟换装 AIGC模型
BackgroundMattingV2-TensorFlow:实时高分辨率背景抠图的 TensorFlow 实现
05-30
实时高分辨率背景抠图 (TensorFlow) 此存储库包含实时高分辨率背景抠图的 TensorFlow 2 实现。 有关更多信息和下载权重，请访问我们的。 TensorFlow 实现是实验性的。 我们发现 PyTorch 的推理速度更快，建议您尽可能使用官方 PyTorch 版本。 使用我们的模型 我们在TensorFlow 2中本机重新实现了我们的模型，并提供了一个脚本来将PyTorch权重直接加载到TensorFlow模型中。 import tensorflow as tf import torch # For loading PyTorch weights. from model import MattingRefine , load_torch_weights # Enable mixed precision, it reduces memory and may make
图像处理-BackgroundMattingV2-实时高分辨率背景抠像
07-05
图像处理-BackgroundMattingV2-实时高分辨率背景抠像
Background-Matting-master.zip
05-13
Background-Matting可以实现离线抠图，不需要任何接口，Background-Matting官方文件.2020/5/10下载
《Background Matting V2：Real-Time High-Resolution Background Matting》论文笔记
m_buddy的博客
03-03 5008
主页：background-matting-v2 参考代码：BackgroundMattingV2 1. 概述 导读：这篇文章在之前V1版本（在512*512输入的情况下只能跑到8FPS）的基础上针对高分辨率（HD，4K画质）提出了一种设计巧妙的matting方法，文章将其称之为之前方法的V2版本。该方法中将整个pipeline划分为两个部分：base和refine部分，前一个部分在缩小分辨率的输入下生成粗略的结果输出，其主要用于提供大体的区域位置定位（coarse predcition）。后一个网络在该
BackgroundMattingV2 项目使用教程
gitblog_01142的博客
08-08 542
BackgroundMattingV2 项目使用教程 BackgroundMattingV2Real-Time High-Resolution Background Matting项目地址:https://gitcode.com/gh_mirrors/ba/BackgroundMattingV2 1. 项目的目录结构及介绍 BackgroundMattingV2/ ├── doc/ │ └─...
BackgroundMattingV2 开源项目教程
gitblog_00676的博客
08-08 681
BackgroundMattingV2 开源项目教程 BackgroundMattingV2Real-Time High-Resolution Background Matting项目地址:https://gitcode.com/gh_mirrors/ba/BackgroundMattingV2 项目介绍 BackgroundMattingV2 是一个实时高分辨率背景替换项目，由 PeterL1...
抠像任务：基于飞桨复现BackgroundMattingV2模型
m0_63642362的博客
11-26 1164
人工智能创新应用大赛——飞桨开源框架前沿模型复现专题赛，使用Paddle复现Real-Time-High-Resolution-Background-Matting论文。
Background-PyTorch 【ML-Agents 官方文档翻译（ML-Agent 1.9.1，Unity 2018-2020）】
FutaAlice的博客
11-18 2528
Background: PyTorch 正如我们在 Background-Machine 中所讨论的， ML-Agents Toolkit 中提供的许多算法都基于深度学习。 更确切地说，ML-Agent Toolkit 的实现基于开源库 PyTorch。 在本节中，我们将简要介绍我们在 ML-Agents Toolkit 中所使用的 PyTorch 和 TensorBoard。 PyTorch PyTorch 是一个开源库，用于使用 Data Flow Graphs（数据流图，深度学习模型的底层表示）执行计
图像/视频背景替换--BackgroundMattingV2 笔记
柯拉的博客
03-02 2947
一、模型的构建 base -- 基类，允许不同input channel 和不同的output channel 不同的backbone，通过参数传入。 1、backbone--resnet101 建构resnet: input channel 6 替换first conv layer 因为 input channel = 6 删除原来的fully-connected layer 注： Variant : 特殊的数据类型，除了固定长度string数据以外的任何类型的数据。 2、ASPP...
Background-Matting背景替换模型
jessica_hsz的博客
05-21 818
转载来自CSDN王定邦 1 写在前面 因为要做Background-MattingV2的推理，所以想着先了解一下Background-Matting是什么，在看了论文之后，就开始跑模型啦。我主要就做了把视频切成图片，图片合成视频。 import cv2 vc = cv2.VideoCapture('a.avi') #读入视频文件 c=0 rval=vc.isOpened() #timeF = 1 #视频帧计数间隔频率 while rval: #循环读取视频帧 c = c + 1 r.
Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver. (Triggered internally at ../c10/cuda/CUDAFunctions.cpp:108.) return torch._C._cuda_getDeviceCount() > 0 FlashAttention is not available on this device. Using scaled_dot_product_attention instead. Ultralytics 8.3.63 🚀 Python-3.11.11 torch-2.2.2+cu121 CPU (Intel Core(TM) i7-9750H 2.60GHz) YOLOv12n summary (fused): 352 layers, 2,590,824 parameters, 0 gradients Found https://ultralytics.com/images/bus.jpg locally at bus.jpg Traceback (most recent call last): File "/home/zhangchong/anaconda3/envs/yolov12/bin/yolo", line 8, in <module> sys.exit(entrypoint()) ^^^^^^^^^^^^ File "/home/zhangchong/yolov12/ultralytics/cfg/__init__.py", line 983, in entrypoint getattr(model, mode)(**overrides) # default args from model ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhangchong/yolov12/ultralytics/engine/model.py", line 560, in predict return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhangchong/yolov12/ultralytics/engine/predictor.py", line 188, in predict_cli for _ in gen: # sourcery skip: remove-empty-nested-block, noqa File "/home/zhangchong/anaconda3/envs/yolov12/lib/python3.11/site-packages/torch/utils/_contextlib.py", line 35, in generator_context response = gen.send(None) ^^^^^^^^^^^^^^ File "/home/zhangchong/yolov12/ultralytics/engine/predictor.py", line 259, in stream_inference preds = self.inference(im, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/zhangchong/yolov12/ultralytics/engine/predictor.py", line 143, in inference return self.model(im, augment=self.args.augment, visualize=v
最新发布
03-12
<think>好的，我现在需要解决用户提到的两个问题：FlashAttention不可用以及在运行YOLOv12n预测时出现的traceback错误。首先，我应该分步骤分析可能的原因，并参考提供的引用资料来寻找解决方案。 关于FlashAttention不可用的问题，可能的原因包括安装问题或版本不兼容。用户提到的YOLOv5相关引用中，有提到pillow版本过高导致错误，可能需要降级。类似地，FlashAttention可能需要特定版本的PyTorch或CUDA支持。需要检查是否正确安装了FlashAttention，包括依赖项如PyTorch版本、CUDA版本是否匹配。此外，用户可能需要从源码编译安装，或者检查是否有路径问题导致模块无法导入。 接下来处理traceback错误。根据引用[2]和[3]，常见的AttributeError或NameError可能是由于模块没有正确安装或函数名称错误。例如，如果错误提示模块没有某个属性，可能是因为安装不完整或版本不对。需要用户提供具体的错误信息，但假设错误类似于模块缺失，可能需要重新安装相关库，或者检查代码中的导入语句是否正确。另外，引用[4]提到pillow版本过高导致的问题，可能需要降级pillow，这也可能适用于其他依赖库。 综合来看，可能的解决步骤包括：1. 确认FlashAttention的安装是否正确，包括检查PyTorch和CUDA版本；2. 根据错误日志调整依赖库的版本；3. 重新安装或编译必要的组件；4. 处理YOLOv12n预测时的具体错误，可能需要检查模型文件或数据路径是否正确。需要用户提供更多错误细节，但基于现有信息，可以给出通用的排查步骤。</think>### 解决FlashAttention不可用及YOLOv12n预测的traceback错误 #### 一、FlashAttention不可用问题 1. **检查环境依赖** FlashAttention需要满足特定版本的PyTorch（≥1.12）和CUDA（≥11.3）。使用以下命令验证版本： ```bash python -c "import torch; print(torch.__version__, torch.version.cuda)" ``` 若版本不匹配，需升级或降级PyTorch： ```bash pip install torch==1.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116 ``` 2. **正确安装FlashAttention** - 通过源码编译安装： ```bash pip install flash-attn --no-build-isolation ``` - 若安装失败，尝试安装预编译版本（需CUDA≥11.6）： ```bash pip install flash-attn --upgrade ``` 3. **验证安装** 运行以下Python代码检查是否成功导入： ```python from flash_attn import flash_attention print("FlashAttention available!") ``` 若报错`ImportError`，需检查Python路径或重新安装[^2][^4]。 --- #### 二、YOLOv12n预测的traceback错误 1. **分析错误类型** - **Case 1: AttributeError（模块缺失函数）** 例如：`AttributeError: module 'torch' has no attribute 'some_function` **原因**：PyTorch版本不兼容或函数名称变更。 **解决**：更新PyTorch或修改代码调用方式[^3]。 - **Case 2: Pillow版本冲突** 若错误涉及图像处理模块（如`PIL`），可能因pillow版本过高导致。降级到兼容版本： ```bash pip install pillow==9.5.0 # 示例版本 ``` 2. **检查模型权重和路径** - 确保`--weight`参数指向正确的模型文件（如`yolov12n.pt`），路径无空格或特殊字符。 - 使用绝对路径避免相对路径错误： ```bash python detect.py --source /absolute/path/to/images --weight /absolute/path/to/yolov12n.pt ``` 3. **依赖库版本对齐** YOLOv12n可能依赖特定版本的`ultralytics`库。更新到最新版本： ```bash pip install ultralytics --upgrade ``` --- #### 三、通用排查步骤 1. **查看完整错误日志** 根据报错的具体行号定位问题模块，例如： ``` Traceback (most recent call last): File "detect.py", line 25, in <module> from models import YOLO ImportError: cannot import name 'YOLO' ``` 此类错误需检查`models`目录是否存在或安装`ultralytics`包[^4]。 2. **创建纯净虚拟环境** 使用conda或venv隔离环境： ```bash conda create -n yolov12n_env python=3.8 conda activate yolov12n_env pip install -r requirements.txt # 安装项目依赖 ``` ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值