在Pytorch中使用Mask R-CNN进行实例分割

最新推荐文章于 2024-07-13 03:35:53 发布
最新推荐文章于 2024-07-13 03:35:53 发布
阅读量7.3k 收藏 56
点赞数 6
分类专栏： 图像处理与机器学习 PyTorch 实例分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013679159/article/details/104299172
版权

 在这篇文章中，我们将讨论mask R-CNN背后的一些理论，以及如何在PyTorch中使用预训练的mask R-CNN模型。

1.语义分割、目标检测和实例分割

之前已经介绍过：

 1、语义分割：在语义分割中，我们分配一个类标签（例如。狗、猫、人、背景等）对图像中的每个像素。

2、目标检测：在目标检测中，我们将类标签分配给包含对象的包围框。

一个非常自然的想法是把两者结合起来。我们只想在一个对象周围识别一个包围框，并且找到包围框中的哪些像素属于对象。 换句话说，我们想要一个掩码，它指示（使用颜色或灰度值）哪些像素属于同一对象。 产生上述掩码的一类算法称为实例分割算法。mask R-CNN就是这样一种算法。

 实例分割和语义分割有两种不同

1、在语义分割中，每个像素都被分配一个类标签，而在实例分割中则不是这样。

2、在语义分割中，我们不区分同一类的实例。例如，语义分割中属于“Person”类的所有像素都将在掩码中分配相同的颜色/值。在实例分割中，它们被分配到不同的值，我们能够告诉它们哪个像素对应于哪个人。 要了解更多关于图像分割的信息，请查看我们已经详细解释过的帖子。

Mask R-CNN结构

mask R-CNN的网络结构是我们以前讨论过的FasterR-CNN的扩展。

回想一下，faster R-CNN架构有以下组件

卷积层：输入图像经过几个卷积层来创建特征图。如果你是初学者，把卷积层看作一个黑匣子，它接收一个3通道的输入图像，并输出一个空间维数小得多（7×7），但通道非常多（512）的“图像”。

区域提案网络（RPN）。卷积层的输出用于训练一个网络，该网络提取包围对象的区域。

分类器：同样的特征图也被用来训练一个分类器，该分类器将标签分配给框内的对象。

此外，回想一下，FasterR-CNN 比 Fast R-CNN更快，因为特征图被计算一次，并被RPN和分类器重用。 mask R-CNN将这个想法向前推进了一步。除了向RPN和分类器提供特征图外，mask R-CNN还使用它来预测边界框内对象的二值掩码。 研究 MaskR-CNN的掩码预测部分的一种方法是，它是一个用于语义分割的完全卷积网络（FCN）。唯一的区别是在mask R-CNN里，FCN被应用于边界框，而且它与RPN和分类器共享卷积层。 下图显示了一个非常高层次的架构。

2.在PyTorch中使用mask R-CNN[代码]

在本节中，我们将学习如何在PyTorch中使用预先训练的MaskR-CNN模型。

2.1.输入和输出

mask R-CNN模型期望的输入是张量列表，每个张量的类型为（n，c，h，w），元素在0-1范围内。图像的大小随意。

n是图像的个数 

c为通道数 RGB图像为3

h是图像的高度

w是图像的宽度

模型返回 ：

包围框的坐标

模型预测的存在于输入图像中的类的标签以及对应标签的分数

 标签中每个类的掩码。

2.2 预训练模型

model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
model.eval()

2.3 模型的预测 

COCO_INSTANCE_CATEGORY_NAMES = [
    '__background__', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus',
    'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'N/A', 'stop sign',
    'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
    'elephant', 'bear', 'zebra', 'giraffe', 'N/A', 'backpack', 'umbrella', 'N/A', 'N/A',
    'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
    'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket',
    'bottle', 'N/A', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl',
    'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
    'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'N/A', 'dining table',
    'N/A', 'N/A', 'toilet', 'N/A', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
    'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'N/A', 'book',
    'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush'
]
 
def get_prediction(img_path, threshold):
  img = Image.open(img_path)
  transform = T.Compose([T.ToTensor()])
  img = transform(img)
  pred = model([img])
  print('pred')
  print(pred)
  pred_score = list(pred[0]['scores'].detach().numpy())
  pred_t = [pred_score.index(x) for x in pred_score if x>threshold][-1]
  print("masks>0.5")
  print(pred[0]['masks']>0.5)
  masks = (pred[0]['masks']>0.5).squeeze().detach().cpu().numpy()
  print("this is masks")
  print(masks)
  pred_class = [COCO_INSTANCE_CATEGORY_NAMES[i] for i in list(pred[0]['labels'].numpy())]
  pred_boxes = [[(i[0], i[1]), (i[2], i[3])] for i in list(pred[0]['boxes'].detach().numpy())]
  masks = masks[:pred_t+1]
  pred_boxes = pred_boxes[:pred_t+1]
  pred_class = pred_class[:pred_t+1]
  return masks, pred_boxes, pred_class

 代码功能如下：

从图像路径中获取图像

使用PyTorch变换将图像转换为图像张量

通过模型传递图像以得到预测结果

从模型中获得掩码、预测类和包围框坐标

每个预测对象的掩码从一组11个预定义的颜色中随机给出颜色，以便在输入图像上将掩码可视化。

def random_colour_masks(image):
  colours = [[0, 255, 0],[0, 0, 255],[255, 0, 0],[0, 255, 255],[255, 255, 0],[255, 0, 255],[80, 70, 180],[250, 80, 190],[245, 145, 50],[70, 150, 250],[50, 190, 190]]
  r = np.zeros_like(image).astype(np.uint8)
  g = np.zeros_like(image).astype(np.uint8)
  b = np.zeros_like(image).astype(np.uint8)
  r[image == 1], g[image == 1], b[image == 1] = colours[random.randrange(0,10)]
  coloured_mask = np.stack([r, g, b], axis=2)
  return coloured_mask

代码中有一些打印信息帮助分析处理过程

2.4 实例分割工作流程

def instance_segmentation_api(img_path, threshold=0.5, rect_th=3, text_size=3, text_th=3):
  masks, boxes, pred_cls = get_prediction(img_path, threshold)
  img = cv2.imread(img_path)
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  for i in range(len(masks)):
    rgb_mask = random_colour_masks(masks[i])
    img = cv2.addWeighted(img, 1, rgb_mask, 0.5, 0)
    cv2.rectangle(img, boxes[i][0], boxes[i][1],color=(0, 255, 0), thickness=rect_th)
    cv2.putText(img,pred_cls[i], boxes[i][0], cv2.FONT_HERSHEY_SIMPLEX, text_size, (0,255,0),thickness=text_th)
  plt.figure(figsize=(20,30))
  plt.imshow(img)
  plt.xticks([])
  plt.yticks([])
  plt.show()

掩码、预测类和边界框是通过get_prediction获得的。

每个掩码从11种颜色中随机给出颜色。 每个掩码按比例1：0.5被添加到图像中，使用了opencv。

包围框是用cv2.rectangle绘制的，上面有类名。

显示最终输出

完整代码如下：
 

from PIL import Image
import matplotlib.pyplot as plt
import torch
import torchvision.transforms as T
import torchvision
import torch
import numpy as np
import cv2
import random

model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
model.eval()
COCO_INSTANCE_CATEGORY_NAMES = [
    '__background__', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus',
    'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'N/A', 'stop sign',
    'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
    'elephant', 'bear', 'zebra', 'giraffe', 'N/A', 'backpack', 'umbrella', 'N/A', 'N/A',
    'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
    'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket',
    'bottle', 'N/A', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl',
    'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
    'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'N/A', 'dining table',
    'N/A', 'N/A', 'toilet', 'N/A', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
    'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'N/A', 'book',
    'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush'
]
def get_prediction(img_path, threshold):
  img = Image.open(img_path)
  transform = T.Compose([T.ToTensor()])
  img = transform(img)
  pred = model([img])
  print('pred')
  print(pred)
  pred_score = list(pred[0]['scores'].detach().numpy())
  pred_t = [pred_score.index(x) for x in pred_score if x>threshold][-1]
  print("masks>0.5")
  print(pred[0]['masks']>0.5)
  masks = (pred[0]['masks']>0.5).squeeze().detach().cpu().numpy()
  print("this is masks")
  print(masks)
  pred_class = [COCO_INSTANCE_CATEGORY_NAMES[i] for i in list(pred[0]['labels'].numpy())]
  pred_boxes = [[(i[0], i[1]), (i[2], i[3])] for i in list(pred[0]['boxes'].detach().numpy())]
  masks = masks[:pred_t+1]
  pred_boxes = pred_boxes[:pred_t+1]
  pred_class = pred_class[:pred_t+1]
  return masks, pred_boxes, pred_class

def random_colour_masks(image):
  colours = [[0, 255, 0],[0, 0, 255],[255, 0, 0],[0, 255, 255],[255, 255, 0],[255, 0, 255],[80, 70, 180],[250, 80, 190],[245, 145, 50],[70, 150, 250],[50, 190, 190]]
  r = np.zeros_like(image).astype(np.uint8)
  g = np.zeros_like(image).astype(np.uint8)
  b = np.zeros_like(image).astype(np.uint8)
  r[image == 1], g[image == 1], b[image == 1] = colours[random.randrange(0,10)]
  coloured_mask = np.stack([r, g, b], axis=2)
  return coloured_mask

def instance_segmentation_api(img_path, threshold=0.5, rect_th=3, text_size=3, text_th=3):
  masks, boxes, pred_cls = get_prediction(img_path, threshold)
  img = cv2.imread(img_path)
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  for i in range(len(masks)):
    rgb_mask = random_colour_masks(masks[i])
    img = cv2.addWeighted(img, 1, rgb_mask, 0.5, 0)
    cv2.rectangle(img, boxes[i][0], boxes[i][1],color=(0, 255, 0), thickness=rect_th)
    cv2.putText(img,pred_cls[i], boxes[i][0], cv2.FONT_HERSHEY_SIMPLEX, text_size, (0,255,0),thickness=text_th)
  plt.figure(figsize=(20,30))
  plt.imshow(img)
  plt.xticks([])
  plt.yticks([])
  plt.show()

2.5 示例

示例1：以小鸡为例，会识别为鸟类

instance_segmentation_api('chicken.jpg')

输入图像：

输出结果：

处理过程中的打印信息：

pred
[{'boxes': tensor([[176.8106, 125.6315, 326.8023, 400.4467],
        [427.9514, 130.5811, 584.2725, 403.1004],
        [289.9471, 169.1313, 448.9896, 410.0000],
        [208.7829, 140.7450, 421.3497, 409.0258],
        [417.7833, 137.5480, 603.2806, 405.6804],
        [174.3626, 132.7247, 330.4560, 404.6956],
        [291.6709, 165.4233, 447.1820, 401.7686],
        [171.9978, 114.4133, 336.9987, 410.0000],
        [427.0312, 129.5812, 584.2130, 405.4166]], grad_fn=<StackBackward>), 'labels': tensor([16, 16, 16, 16, 20, 20, 20, 18, 18]), 'scores': tensor([0.9912, 0.9910, 0.9894, 0.2994, 0.2108, 0.1995, 0.1795, 0.1655, 0.0516],
       grad_fn=<IndexBackward>), 'masks': tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        ...,


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]], grad_fn=<UnsqueezeBackward0>)}]
masks>0.5
tensor([[[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        ...,


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]]])
this is masks
[[[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 ...

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]]

 masks = (pred[0]['masks']>0.5).squeeze().detach().cpu().numpy()使masks变为[n x h x w],且元素为bool值，为后续指定随机颜色做了准备，r[image == 1], g[image == 1], b[image == 1] = colours[random.randrange(0,10)]，将掩码列表中属于实际对象的区域变成随机彩色，其余部分仍为0.这些代码充分展示了python中高级切片的魔力，当然用到的是numpy和torch.tensor里的功能。

示例2：棕熊

instance_segmentation_api('bear.jpg', threshold=0.8)

输入图像：

输出图像：

 

打印信息： 

pred
[{'boxes': tensor([[ 660.3120,  340.5351, 1235.1614,  846.9672],
        [ 171.7622,  426.9127,  756.6520,  784.9360],
        [ 317.9777,  184.6863,  648.0856,  473.6469],
        [ 283.0787,  200.8575,  703.7324,  664.4083],
        [ 354.9362,  308.0444,  919.0403,  812.0120]], grad_fn=<StackBackward>), 'labels': tensor([23, 23, 23, 23, 23]), 'scores': tensor([0.9994, 0.9994, 0.9981, 0.5138, 0.0819], grad_fn=<IndexBackward>), 'masks': tensor([[[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]],


        [[[0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          ...,
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.],
          [0., 0., 0.,  ..., 0., 0., 0.]]]], grad_fn=<UnsqueezeBackward0>)}]
masks>0.5
tensor([[[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]],


        [[[False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          ...,
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False],
          [False, False, False,  ..., False, False, False]]]])
this is masks
[[[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]

 [[False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]
  ...
  [False False False ... False False False]
  [False False False ... False False False]
  [False False False ... False False False]]]

 

3、GPU与CPU时间对比 

def check_inference_time(image_path, gpu=False):
    model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
    model.eval()
    img = Image.open(image_path)
    transform = T.Compose([T.ToTensor()])
    img = transform(img)
    if gpu:
        model.cuda()
        img = img.cuda()
    else:
        model.cpu()
        img = img.cpu()
    start_time = time.time()
    pred = model([img])
    end_time = time.time()
    return end_time-start_time

cpu_time = sum([check_inference_time('./people.jpg', gpu=False) for _ in range(5)])/5.0
gpu_time = sum([check_inference_time('./people.jpg', gpu=True) for _ in range(5)])/5.0
print('\\n\\nAverage Time take by the model with GPU = {}s\\nAverage Time take by the model with CPU = {}s'.format(gpu_time, cpu_time))

结果： 

Average Time take by the model with GPU = 0.5736178874969482s,
Average Time take by the model with CPU = 10.966966199874879s

参考链接：https://www.learnopencv.com/mask-r-cnn-instance-segmentation-with-pytorch/
 

 

 

valuetimer
关注
  • 6
    点赞
  • 踩
  • 56
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pytorch版Mask-RCNN图像分割实战（自定义数据集）
qq_31807039的博客
05-12 7038
Mask R-CNN是一种广泛应用于目标检测和图像分割任务的深度学习模型，它是由Faster R-CNN（一种快速目标检测模型）和Mask R-CNN（一种实例分割模型）组成的。Mask R-CNN将Faster R-CNN中的RPN和RoI Pooling层替换成了RPN和RoI Align层，以实现像素级的图像分割，能够同时检测出多个对象，并对每个对象进行像素级的分割。
PyTorch版Mask R-CNN图像实例分割实战：训练自己的数据集
10-07
注意：本课程已从maskrcnn-benchmark更新到了Detectron2Mask R-CNN是一种基于深度学习的图像实例分割方法，可对物体进行目标检测和像素级分割。本课程将手把手地教大家使用Labelme图像标注工具制作自己的数据集，并使用PyTorch版本的Mask R-CNN（Facebook 官方Detectron2/maskrcnn-benchmark）训练自己的数据集，从而能开展自己的图像分割应用。本课程的具体项目实战案例是：对汽车行驶场景中的路坑、车、车道线等多类物体进行检测和分割 。本课程在Ubuntu系统上进行项目全过程的演示。本课程提供项目标注的数据集和相关Python程序文件。相关课程：Mask R-CNN图像实例分割实战：训练自己的数据集 （Keras版本 ）https://edu.csdn.net/course/detail/25128
小白maskrcnn环境配置(pytorch版)及报错大全集锦(遇到超级多报错,有超多经验)
最新发布
wsh33428的博客
07-13 2333
maskrcnn环境配置,虚拟环境anaconda+pytorch1.0 nightly(就是最新版,但是2024年的最新版pytorch已经不适配了,我这里用的是1.7.0),cuda11.0,cuDNN8.9.2
实例分割经典：Mask-RCNN及pytorch代码
weixin_43572595的博客
12-03 6604
前沿 不同于语义分割，实例分割需要将每个类别的单个目标单独打上id。MaskRCNN是何凯明大神2017年在ICCV发表的一篇用于目标检测、实例分割、人体关键点检测的经典工作。 设计思想 实例分割具有挑战性，因为它需要正确检测图像中的所有对象，同时还要精确分割每个实例。因此既需要对目标进行边界框的检测定位，又需要对边界框内的目标进行像素级的前后景分割。 文章的方法称为Mask R-CNN，它通过在FasterRCNN中添加一个分支来预测每个感兴趣区域（RoI）上的分割蒙版，与现有的用于分类和边界框回归的分支
在Pytorch中使用Mask R-CNN进行实例分割操作
09-16
主要介绍了在Pytorch中使用Mask R-CNN进行实例分割操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch Mask R-CNN 实例分割
m0_67105022的博客
03-19 1492
Mask R-CNN通过在 Faster-RCNN 的基础上添加一个分支网络，在实现目标检测的同时，把目标像素分割出来
pytorch下训练自己的Mask R-CNN实例分割模型
ZHUYOUKANG的博客
02-23 4142
概述 最近想学习下Mark R-CNN模型,想快速体验下,所以暂时不想花时间去看源码的具体实现细节.RCNN系列模型介绍推荐看这篇博客目标检测模型概述.里面主要介绍了目标检测模型的发展.后来看到一篇博客链接看到较新版本的torchvision里面有现成的Mask R-CNN模型可以直接使用,且程序里面注释有demo教你快速使用.因此自己就马上体验下啦. 本机环境:系统ubuntu16.4,GTX ...
实例分割综述（单阶段/两阶段/实时分割算法汇总）
热门推荐
3D视觉工坊
08-03 1万+
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达简介目标检测或定位是数字图像从粗到细的一个渐进过程。它不仅提供了图像对象的类，还提供了已分类图像中对象的位置。位置以边框或中心的形式...
PyTorch版Mask R-CNN图像实例分割实战：训练自己的数据集【331003】安装项目1
08-04
在这个项目中，我们将探讨如何在PyTorch框架下实现并训练一个Mask R-CNN模型，用于图像实例分割任务。首先，我们需要了解一些基本概念。Mask R-CNN是Facebook AI Research团队开发的一种深度学习模型，它在目标检测...
PyTorch版Mask R-CNN图像实例分割实战：训练自己的数据集【331018】网盘文件说明1
08-04
本篇将详细介绍如何使用PyTorch实现Mask R-CNN进行实例分割，并训练自己的数据集。 首先，Mask R-CNN是Facebook AI Research（FAIR）提出的一种深度学习模型，它扩展了 Faster R-CNN 框架，增加了对像素级别的分割...
Python-在PyTorch中实现的语义分割模型数据集和损失
08-11
在PyTorch中实现的语义分割模型，数据集和损失
Mask-RCNN-pytorch.zip
05-31
Mask-RCNN的代码实现，Pytorch版本，有什么问题请私信，有时候可能看不到，所以不能及时回复。我的邮箱18125081@bjtu.edu.cn
maskrcnn_pytorch：maskrcnn pytorch实现
02-21
Mask RCNN：Pytorch实现 使用Pytorch框架屏蔽RCNN实现。 banchmark： : 要求 Python> = 3.6。 PyTorch> = 1.5，并且Torchvision与PyTorch安装匹配。 执照 该存储库是根据MIT许可发布的。
PyTorch深度学习实战（25）——从零开始实现Mask R-CNN实例分割
盼小辉丶的博客
11-01 3429
Mask R-CNN 是一种在目标检测任务中引入了语义分割的强大框架，通过在 Faster R-CNN 基础上进行扩展，添加了额外的分支网络，不仅可以准确地检测对象的位置和类别，还可以生成每个实例的精确像素级别的语义分割掩码。其模块化的设计可以轻松地应用于不同的任务和数据集，并且可以通过添加更多的分支进行功能扩展，如实例关键点检测等。
轻松学Pytorch –Mask-RCNN图像实例分割
小白学视觉
11-24 1623
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达前面介绍了torchvison框架下Faster-RCNN对象检测模型使用与自定义对象检测的数据集制作与训练。在计算机视觉所要面对的任务中，最常见的就是对象检测、图像语义分割跟实例分割，torchvision支持Mask-RCNN模型的调用与自定义数据训练，可以同时实现对象检测与实例分割任务。本文主要跟大家分享一下如何使用mas...
【Pytorch框架实战】之Mask-Rcnn实例分割
qq_39071739的博客
08-11 1760
【Pytorch框架实战】之Mask-Rcnn实例分割 一、内容 上次讲了Faster-RCNN网络，其主要由backbone的卷积网络、实现Boxes选择的区域推荐网络RPN、最终的分类回归。何凯明大作Mask-RCNN简单说就是在RPN之后得到对齐ROI对齐区域，完成了一个全卷积的像素分割分支，Mask-RCNN的网络结构如下： boxes：预测矩形的左上角与右下角坐标(x1,y1,x2,y2) [Nx4] labels: 预测每个对象标签 scores：预测每个对象的得分，在0~1之间，大于阈值T的
基于PyTorch搭建Mask-RCNN实现实例分割
weixin_53065229的博客
09-19 1342
在这篇文章中，我们将讨论 Mask RCNN Pytorch 背后的理论以及如何在 PyTorch 中使用预训练的 Mask R-CNN 模型。
使用PyTorch实现实例分割：深入理解Wizaron的`instance-segmentation-pytorch`
gitblog_00065的博客
04-18 445
使用PyTorch实现实例分割：深入理解Wizaron的instance-segmentation-pytorch instance-segmentation-pytorchSemantic Instance Segmentation with a Discriminative Loss Function in PyTorch项目地址:https://gitcode.com/gh_mirrors...
用python 写yolov5与Mask R-CNN的实例，以及详细步骤
05-19
以下是使用Python编写YOLOv5和Mask R-CNN实例的详细步骤： 1. 安装必要的库 首先，需要安装一些必要的库，包括: - PyTorch - torchvision - numpy - opencv-python - albumentations 可以通过以下命令使用pip安装它们： ``` pip install torch torchvision numpy opencv-python albumentations ``` 2. 下载YOLOv5和Mask R-CNN模型 可以从以下链接下载YOLOv5和Mask R-CNN模型： - YOLOv5：https://github.com/ultralytics/yolov5/releases - Mask R-CNN：https://github.com/matterport/Mask_RCNN/releases 下载后，将它们解压缩到项目文件夹中。 3. 加载模型 接下来，需要加载YOLOv5和Mask R-CNN模型。可以使用以下代码来加载它们： ```python import torch import torchvision # Load YOLOv5 model model_yolo = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) # Load Mask R-CNN model model_maskrcnn = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True) model_maskrcnn.eval() ``` 4. 加载图像 然后，需要加载要检测的图像。可以使用以下代码来加载图像： ```python import cv2 # Load image image = cv2.imread('path/to/image.jpg') ``` 5. 进行YOLOv5检测 接下来，可以使用YOLOv5模型来进行目标检测。可以使用以下代码来执行检测： ```python # Perform YOLOv5 detection results = model_yolo(image) ``` 6. 进行Mask R-CNN检测 接下来，可以使用Mask R-CNN模型来进行实例分割。可以使用以下代码来执行检测： ```python import numpy as np import torch import torchvision.transforms as T from PIL import Image # Define transform transform = T.Compose([ T.ToTensor() ]) # Convert image to tensor image_tensor = transform(Image.fromarray(image)).unsqueeze(0) # Perform Mask R-CNN detection output = model_maskrcnn(image_tensor) masks = output[0]['masks'].detach().cpu().numpy() scores = output[0]['scores'].detach().cpu().numpy() boxes = output[0]['boxes'].detach().cpu().numpy() class_ids = output[0]['labels'].detach().cpu().numpy() ``` 7. 可视化结果 最后，可以将检测结果可视化。可以使用以下代码来绘制检测结果： ```python import random import matplotlib.pyplot as plt import matplotlib.patches as patches # Draw YOLOv5 detection results fig, ax = plt.subplots() ax.imshow(results.render()[..., ::-1]) for r in results.xyxy[0]: rect = patches.Rectangle((r[0], r[1]), r[2]-r[0], r[3]-r[1], linewidth=1, edgecolor='r', facecolor='none') ax.add_patch(rect) # Draw Mask R-CNN detection results colors = [[random.random() for _ in range(3)] for _ in range(len(class_ids))] fig, ax = plt.subplots() ax.imshow(image[..., ::-1]) for i in range(len(class_ids)): mask = masks[i, 0] color = colors[i] ax.contour(mask, colors=color, linewidths=1) rect = patches.Rectangle((boxes[i][0], boxes[i][1]), boxes[i][2]-boxes[i][0], boxes[i][3]-boxes[i][1], linewidth=1, edgecolor=color, facecolor='none') ax.add_patch(rect) plt.show() ``` 这个过程将会绘制YOLOv5和Mask R-CNN的检测结果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值