非极大值抑制(Non-Maximum Suppression):NMS简介（附详解代码）

非极大值抑制(Non-Maximum Suppression):NMS简介

  非极大值抑制即是NMS算法，在边缘检测、人脸检测、目标检测等广泛应用，同时在不同应用中，具体实现也有其不同，接下来从边缘检测以及目标检测展开叙述。

1. canny算子中的非极大值抑制

  Canny算子是边缘检测中的一部分，目的是寻找像素点的局部最大值，抑制其他极大值，将非极大值点对应的灰度值设为0。
在进行非极大值抑制的过程中，首先要判断目标像素点O的灰度值是否在其领域内属于最大，如图1中的红色线条方向为O点的梯度方向，梯度方向垂直于边缘方向，因此，可得最大值存在于红色线条上，同时梯度方向的P,Q两个交点可能会是局部最大值，因此判断O点与P，Q两点的灰度大小，便可得出O点是否为邻域的最大灰度点，倘若O点灰度值小于P，Q任意两点的灰度值，那么即可得出O非局部最大值。

图1. 非极大值判断

  事实上，只能得到O点邻域的8个点的值，而P和Q并不在其中，要得到这两个值就需要对P，Q两端的已知灰度进行线性插值，也就是图1中的a1和a2对P进行插值，根据a3和a4对Q进行插值。

canny算子中的非极大值抑制是什么原理？
Canny算子中的非极大值抑制（Non-Maximum Suppression）分析
canny算法（3）——非极大值抑制

2. 目标检测中的非极大值抑制

  在目标检测过程中，同一目标位置上会产生大量的候选框，而这些候选框会发生一定程度的重合，因此需要利用非极大值抑制找出最佳的目标边界框，消除冗余的边界框，如图2，3所示：

图2. 多边界框

图3. 最优边界框

  图2中存在多个候选框的原因为每个边界框都会存在一个置信度得分，而使用非极大值抑制（NMS）后，便会得到符合目标检测结果的边界框见图3。

  1.首先依据置信度得分进行排序；

  2.置信度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除；

  3.计算所有边界框面积；

  4.计算置信度最高的边界框与其它候选框的IoU；

  5.删除IoU大于阈值的边界框；

  基于python及opencv代码

import cv2
import numpy as np

def nms(bounding_boxes, confidence_score, threshold):
    # 无边界框则返回空列表
    if len(bounding_boxes) == 0:
        return [], []

    # 定义边界框
    boxes = np.array(bounding_boxes)

    # 定义边界框坐标
    start_x = boxes[:, 0]
    start_y = boxes[:, 1]
    end_x = boxes[:, 2]
    end_y = boxes[:, 3]

    # 定义边界框置信度得分
    score = np.array(confidence_score)

    # 定义挑选边界框
    picked_boxes = []
    #根据置信度挑选边界框
    picked_score = []

    # 计算边界框面积
    areas = (end_x - start_x + 1) * (end_y - start_y + 1)

    # 根据置信度得分将边界框排序
    order = np.argsort(score)

    # 将边界框送入迭代循环判断
    while order.size > 0:
        # 最大置信度索引
        index = order[-1]

        # 选择最大置信度得分的边界框并且送入列表
        picked_boxes.append(bounding_boxes[index])
        picked_score.append(confidence_score[index])

        # 计算交并比(iou)
        x1 = np.maximum(start_x[index], start_x[order[:-1]])
        x2 = np.minimum(end_x[index], end_x[order[:-1]])
        y1 = np.maximum(start_y[index], start_y[order[:-1]])
        y2 = np.minimum(end_y[index], end_y[order[:-1]])

        # 计算交并比面积
        w = np.maximum(0.0, x2 - x1 + 1)
        h = np.maximum(0.0, y2 - y1 + 1)
        intersection = w * h

        # 计算比值大小
        ratio = intersection / (areas[index] + areas[order[:-1]] - intersection)

        left = np.where(ratio < threshold)
        order = order[left]

    return picked_boxes, picked_score


# 输入图像
image_name = 'eagle.jpg'

# 定义边界框位置、大小、形状。不同输入图像对应不同；
bounding_boxes = [(600, 40, 437, 227), (510, 47, 305, 182), (561, 35, 418, 304)]
confidence_score = [0.9, 0.75, 0.8]

# 读入图像
image = cv2.imread(image_name)

# 防止修改原图，复制待用
org = image.copy()

# 定义参数
font = cv2.FONT_HERSHEY_SIMPLEX
font_scale = 1
thickness = 2

# IOU阈值，更改不同阈值，观察结果
threshold = 0.4

# 画边界框（没有经过nms）
for (start_x, start_y, end_x, end_y), confidence in zip(bounding_boxes, confidence_score):
    (w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)
    cv2.rectangle(org, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)
    cv2.rectangle(org, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)
    cv2.putText(org, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)

# 函数实例化，运行非极大值抑制函数
picked_boxes, picked_score = nms(bounding_boxes, confidence_score, threshold)

# 画边界框（经过nms）
for (start_x, start_y, end_x, end_y), confidence in zip(picked_boxes, picked_score):
    (w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)
    cv2.rectangle(image, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)
    cv2.rectangle(image, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)
    cv2.putText(image, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)

# 展示吧，小baby!
cv2.imshow('Original', org)
cv2.imshow('Nms', image)
cv2.waitKey(0)

  非极大值抑制(Non-Maximum Suppression)
  非极大值抑制算法详解_wulele2的博客-程序员秘密_非极大值抑制