该框架采用两阶段方法进行地标检测，首先全局阶段的UNet生成粗略注意力，然后局部阶段利用全局阶段的heatmap裁剪图像进行精细化检测。在推理阶段，通过ExpansiveExploration策略扩大搜索区域以提高准确性。损失函数结合了交叉熵和focalloss，优化了训练过程。
摘要
作者结合局部信息+全局的信息
作者提供的框架是一个两阶段的UNet
全局阶段：普通的UNet，
局部阶段：利用全局阶段生成的heatmap，裁剪patch送入局部阶段
在推理阶段，使用Expansive Exploration strategy
方法
模型分为局部阶段和全局阶段
全局阶段：普通的UNet,生成粗的注意力
局部阶段，利用全局阶段得到的landmark坐标，以坐标为中心裁剪patch，送进局部UNet
Expansive Exploration
推理阶段：
虽然粗的注意力大部分情况下比较准确，但是不能保证找到所有的landmark
所以这里用Expansive Exploration，其实就是扩大了搜索区域
heatmap
除了19个landmark，还增加了一个背景类别
H
i
(
x
,
y
)
=
{
exp
[
−
1
2
σ
2
(
(
x
−
x
i
)
2
+
(
y
−
y
i
)
2
)
]
,
i
=
1
,
2
,
…
,
19
1
−
∑
j
=
1
19
H
j
(
x
,
y
)
,
i
=
20
H^i(x, y)= \begin{cases}\exp \left[-\frac{1}{2 \sigma^2}\left(\left(x-x_i\right)^2+\left(y-y_i\right)^2\right)\right], & i=1,2, \ldots, 19 \\ 1-\sum_{j=1}^{19} H^j(x, y), & i=20\end{cases}
Hi(x,y)={exp[−2σ21((x−xi)2+(y−yi)2)],1−∑j=119Hj(x,y),i=1,2,…,19i=20
loss
交叉熵+focal loss
L
(
H
,
H
^
)
=
−
1
N
∑
b
=
1
N
(
1
2
⋅
H
⋅
log
H
^
+
1
2
⋅
α
t
⋅
(
1
−
H
t
)
γ
⋅
log
H
t
)
,
where
H
t
=
{
H
^
if
H
>
0.01
1
−
H
^
otherwise
\begin{gathered} L(H, \widehat{H})=-\frac{1}{N} \sum_{b=1}^N\left(\frac{1}{2} \cdot H \cdot \log \widehat{H}+\frac{1}{2} \cdot \alpha_t \cdot\left(1-H_t\right)^\gamma \cdot \log H_t\right), \\ \text { where } H_t=\left\{\begin{array}{cc} \widehat{H} & \text { if } H>0.01 \\ 1-\widehat{H} & \text { otherwise } \end{array}\right. \end{gathered}
L(H,H
)=−N1b=1∑N(21⋅H⋅logH
+21⋅αt⋅(1−Ht)γ⋅logHt), where Ht={H
1−H
if H>0.01 otherwise
扫一扫
1523
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
