hourglass论文_CenterNet骨干网络之hourglass

最新推荐文章于 2021-12-15 16:45:04 发布

面壁者小湛

最新推荐文章于 2021-12-15 16:45:04 发布

阅读量981

点赞数

文章标签： hourglass论文

本文链接：https://blog.csdn.net/weixin_35856883/article/details/112485632

版权

本文详细解析了CenterNet中的Hourglass网络结构，包括Residual模块、Hourglass子模块及其工作原理。Hourglass最初在人体姿态估计中应用，通过递归层获取多尺度信息。此外，文章讨论了Ground Truth Heatmap与半径计算，以及在CenterNet中添加损失函数的位置。最后，介绍了网络的输出和其在COCO数据集上的应用。

摘要由CSDN通过智能技术生成

CenterNet中主要提供了三个骨干网络ResNet-18(ResNet-101), DLA-34, Hourglass-104，本文从结构和代码对hourglass进行讲解。

本文对应代码位置在：https://github.com/pprp/SimpleCVReproduction/tree/master/Simple_CenterNet

1. Ground Truth Heatmap

在开始讲解骨干网络之前，先提一下上一篇文章中有几位群友私聊我的问题：CenterNet为什么要沿用CornerNet的半径计算方式？

查询了CenterNet论文还有官方实现的issue，其实没有明确指出为何要用CornerNet的半径，issue中回复也说是这是沿用了CornerNet的祖传代码。经过和@tangsipeng的讨论，讨论结果如下：

以下代码是涉及到半径计算的部分：

# 根据一元二次方程计算出最小的半径
radius = max(0, int(gaussian_radius((math.ceil(h), math.ceil(w)), self.gaussian_iou)))
# 得到高斯分布
draw_umich_gaussian(hmap[label], obj_c_int, radius)

在centerNet中，半径的存在主要是用于计算高斯分布的sigma值，而这个值也是一个经验性判定结果。

def draw_umich_gaussian(heatmap, center, radius, k=1):
    # 得到直径
    diameter = 2 * radius + 1
    gaussian = gaussian2D((diameter, diameter), sigma=diameter / 6)
    # 一个圆对应内切正方形的高斯分布

    x, y = int(center[0]), int(center[1])

    height, width = heatmap.shape[0:2]

    # 对边界进行约束，防止越界
    left, right = min(x, radius), min(width - x, radius + 1)
    top, bottom = min(y, radius), min(height - y, radius + 1)

    # 选择对应区域
    masked_heatmap = heatmap[y - top:y + bottom, x - left:x + right]
    # 将高斯分布结果约束在边界内
    masked_gaussian = gaussian[radius - top:radius + bottom, 
                               radius - left:radius + right]

    if min(masked_gaussian.shape) > 0 and min(masked_heatmap.shape) > 0:
        np.maximum(masked_heatmap, masked_gaussian * k, out=masked_heatmap)
        # 将高斯分布覆盖到heatmap上，相当于不断的在heatmap基础上添加关键点的高斯，
        # 即同一种类型的框会在一个heatmap某一个类别通道上面上面不断添加。
        # 最终通过函数总体的for循环，相当于不断将目标画到heatmap
    return heatmap