TEDnet

<Crowd Counting and Density Estimation by Trellis Encoder-Decoder Networks>

背景介绍

类似沙漏金字塔backboe大量的下采样上采样的融合不利于生成精准度密度图, 这源于1)下采样本身导致精准度下降, 2)上采样并不能恢复之前丢失的信息, 即使使用了跳跃连接. 3)还有mse损失针对像素间的损失,忽略了空间信息.
为了解决现今这种encoder-decoder网络问题, 提出了trellis encoder-decoder网络, TEDNet充分融合多尺度特征. 杂encoding阶段, 利用多尺度conv获取尺度适应. 在decoding阶段使用多个对应的encoding阶段特征融合. 最后使用spatila abstracting loss 和 spatial correlation loss改善MSE的缺点.

本文方法

1. Multi-scale Encoder

如图3所示, 这个模块就是图1中的黄色模块,

2. Multi-Path Decoder和Up_sampling Block

特征融合方式是浅层的先通过点卷积调整通道数, 深层的通过(b)上采样. 然后串联在一起(没说相加), 最后再通过一个点卷积.
通过之上操作后, 继续执行上采样和特征串联, 直到下采样四次的分辨率即可. 最后的那个密度图是双线性插值到原图大小.

3. Distributed Supervision

最后生成了四个密度图, 每个密度图都计算损失, 采取分布式监督的办法. 对于前三个密度图的size由于是是下采样的, gt直接采用均值池化, 然后再计算损失.

4. Combinatorial Loss

1.Spatial Abastraction Loss (SAL)

看上图, 就是对预测下采样(2*2的最大值池化)一次计算一次mse损失, 最后损失加在一起.
N_k是第k层像素数量. ϕ _k(·)是下采样

2. Spatial Correlation Loss (SCL)

这个损失对于线性变化不敏感, 通过全局的计算来弥补mse逐像素的缺点. 计算轻松且比MSE loss 更加友好.
最终损失:

实验结果

额, 看起来效果还不错.