前言
本文介绍了一个用于超大图片中对小目标检测的切片辅助超推理库SAHI。该库可直接用于现有的网络，而不需要重新设计和训练模型，使用十分方便。
Github: https://github.com/obss/sahi
目标检测和实例分割是迄今为止计算机视觉中最重要的应用领域。然而，小物体的检测和大图像的推理仍然是实际使用中的主要问题。
下面是实例分割SOTA模型Cascade Mask RCNN的推理结果：
MMDetection Cascade Mask RCNN 模型的标准推理结果。
如图所示，未检测到上侧的小型汽车。
有没有办法在不重新训练模型并且不需要更大的 GPU 内存分配的情况下检测这些较小的对象？
本文将介绍SAHI（Slicing Aided Hyper Inference），帮助开发人员克服这些现实世界的问题。
本文目录
-
目标检测和实例分割简介、
-
SAHI的安装、
-
使用SAHI 进行切片推理、
-
使用SAHI 进行图像和数据集切片、
-
使用SAHI添加对新检测框架的支持
目标检测和实例分割简介
A) 目标检测：目标检测是指识别和正确标记图像帧中存在的所有物体的方法。
目标检测可视化。
这大致包括两个步骤：
1：目标定位：在这里，以尽可能紧密的方式确定边界框或封闭区域，以便定位图像中目标的准确位置。
2：图像分类：然后将定位的目标送到标记目标的分类器。
B) 语义分割：它是指将给定图像中的每个像素链接到特定类标签的过程。例如，在下图中，像素被标记为汽车、树木、行人等。然后使用这些段来查找各种对象之间的交互/关系。
语义分割可视化
C ) Instance Segmentation：在这里，我们将类标签与每个像素关联起来，类似于语义分割，不同之处在于它将同一类的多个对象视为单个对象/单独的实体。
实例分割可视化
SAHI的安装
SAHI的项目地址：https://github.com/obss/sahi
1. 通过 pip 安装最新版本：
pip install sahi2. 通过conda
conda install sahi -c obss
现在可以在 Python 中导入和使用任何SAHI函数：
from sahi import get_sliced_prediction
使用SAHI 进行切片推理
切片推理的概念基本上是；对原始图像的较小切片执行推理，然后合并原始图像上的切片预测。可以用下图表示：
切片推理
通过执行切片推理而不是标准推理，可以更准确地检测较小的对象
在这里，我们将使用SAHI在此示例图像上展示切片推理演示：
用于推理演示的示例图像
首先导入教程所需的函数：
from sahi .model import MmdetDetectionModel
from sahi .utils.cv import read_image,visualize_object_predictions
from sahi .predict import get_sliced_prediction
MmDetectionModel是流行的MMDetection 框架的包装类。它可用于在任何MMDetection 模型上加载和执行切片/标准推理。
read_image是一个实用函数，用于将任何图像转换为 RGB numpy 数组。
get_sliced_prediction是执行切片推理的函数。
visualize_object_predictions是用于可视化SAHI预测结果的实用函数。
然后，我们需要通过定义所需的参数来创建一个DetectionModel实例：
detection_model = MmdetDetectionModel(
model_path=mmdet_cascade_mask_rcnn_model_path,
config_path=mmdet_cascade_mask_rcnn_config_path,
prediction_score_threshold=0.4,
device="cuda"
)
需要 model_path和config_path才能成功加载任何模型。
结果中将忽略分数低于predict_score_threshold 的预测。
device参数指定推理设备，可以设置为cuda或cpu。
加载图像：
image = read_image(image_dir)最后，我们可以执行切片预测。在本例中，我们将在重叠率为 0.2 的 256x256 切片上执行预测：
result = get_sliced_prediction(
image,
detection_model,
slice_height = 256,
slice_width = 256,
overlap_height_ratio = 0.2,
overlap_width_ratio = 0.2
)
在原始图像上可视化预测的边界框和掩码：
visualization_result = visualize_object_predictions(
image,
object_prediction_list=result["object_prediction_list"],
output_dir="",
file_name="",
)
ipython_display(visualization_result["image"])
切片预测结果
使用SAHI 进行图像和数据集切片
您可以独立使用SAHI的切片操作。
-
例如，您可以将单个图像切片为：
from sahi.slicing import slice_image
slice_image_result, num_total_invalid_segmentation = slice_image(
image=image_path,
output_file_name=output_file_name,
output_dir=output_dir,
slice_height=256,
slice_width=256,
overlap_height_ratio=0.2,
overlap_width_ratio=0.2,
)
-
或者，您可以从任何 coco 格式的数据集创建切片的 coco 数据集，如下所示：
from sahi.slicing import slice_coco
coco_dict, coco_path = slice_coco(
coco_annotation_file_path=coco_annotation_file_path,
image_dir=image_dir,
slice_height=256,
slice_width=256,
overlap_height_ratio=0.2,
overlap_width_ratio=0.2,
)
使用SAHI添加对新检测框架的支持
SAHI库目前仅支持MMDetection 模型。但是，添加新框架很容易。
您需要做的就是在继承自DetectionModel 类的model.py 中创建一个新类。您可以将MMDetection wapper作为参考。(这几个文件都在SAHI的项目中可以找到)
作者：Fatih Cagatay Akyon
编译：CV技术指南
原文链接：
https://medium.com/codable/sahi-a-vision-library-for-performing-sliced-inference-on-large-images-small-objects-c8b086af3b80
欢迎关注公众号 CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。
在公众号中回复关键字 “技术总结”可获取公众号原创技术总结文章的汇总pdf。
其它文章
资源分享 | SAHI：超大图片中对小目标检测的切片辅助超推理库
PyTorch 中的 ModuleList 和 Sequential: 区别和使用场景
使用 Ray 将 PyTorch 模型加载速度提高 340 倍
ICCV2021 | MicroNet：以极低的 FLOPs 改进图像识别
CVPR2021 | 重新思考BatchNorm中的Batch
ICCV2021 | 重新思考视觉transformers的空间维度
CVPR2021 | Transformer用于End-to-End视频实例分割
ICCV2021 |(腾讯优图)重新思考人群中的计数和定位：一个纯粹基于点的框架
经典论文系列 | 目标检测--CornerNet & 又名 anchor boxes的缺陷
4352
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
