Training-Time-Friendly Network for Real-Time Object Detection论文笔记

（一）Title

论文地址：https://arxiv.org/abs/1909.00700

代码地址：https://github.com/ZJULearning/ttfnet

前言：Light-head，anchor-free，single-stage，TTFNet，作者在文中不断提及encode training samples plays a similar role as increasing the batch size指的是(CenterNet中仅仅使用中心点进行目标回归，而在FCOS中使用Ground Truth中的所有点进行回归，这里通过引入高斯核来借助$\beta$参数控制回归样本的数量)，同时避免了FCOS中需要使用NMS的后处理过程，实验过程比较详实，真的是一篇好文章，弱弱的说一句：好羡慕这种GPUx8的硬件资源啊

（二）Summary

为了取得训练时间、推理速度以及精度之间的平衡，作者提出了Training-Time-Friendly Network(TTFNet),这篇工作中，本文从light-head，single-stage以及anchor-free设计出发，使能更快的推理速度，然后本文重点在于缩短训练时间。
作者观察到

encoding more Training samples from annotated boxes plays a similar role as increasing batch size, which helps enlarge the learning rate and accelerate the training process

因此，在本文中引入了Gaussian kernels 来encode 训练samples，除此之外，为了更好地利用信息，作者设计了初始样本权重(initiative sample weights)

性能表现

TTFNet在平衡训练时间、推理速度和准确性方面具有很大的优势，与以前的实时检测器相比，它将训练时间减少了7倍以上，同时保持了最先进的性能。TTFNet-18和TTFNet-53的性能分别超过SSD300和YOLOv3，并且训练时间上大大减小。
低AP版本：TTFNet-18 and TTFNet-53 can achieve 25.9 AP / 112 FPS only after 1.8 hours and 32.9 AP / 55 FPS after 3.1 hours of training on 8 GTX 1080Ti
中AP版本： TTFNet-18 and TTFNet-53 can achieve 30.3 AP / 113 FPS after 19 hours and 36.2 AP /55 FPS after 32 hours when training from scratch
高AP版本：the long-training version of TTFNet-53 can achieve 39.3 AP /57 FPS after 31 hours of training.

作者方法的优势

• 使用高斯核编码训练样本，使得网络能够更快地收敛
• 能够在不引入其他组件，比如FPN的基础上，降低ambiguous 以及low-quality的样本
• 不需要any offset predictions来矫正结果

本文的主要贡献

• 验证batchsize大小和由annotated boxes产生的encoded samples数量之间的相似性。此外，还说明了CenterNet收敛慢的原因。
• 使用高斯核来产生用于定位以及size regression的training samples
• 使用我们方法训练的检测器能够在保证AP精度的前提下，减少训练时间。
• 对于计算资源有限的研究人员来说(手动@自己)，很友好。

（三）Research Object

作者希望在CenterNet架构上改进CenterNet仅仅使用中心点进行box回归的做法，同时利用实验验证了FCOS中引入Ground Truth中的所有样本进行回归会引入大量的ambiguous以及low-quality的样本。因此在回归分支引入了Gaussian Kernel，增加了用于回归的样本数量(可以通过$\beta$进行调节数量)

（四）Problem Statement

作者基于CenterNet，在回归box时，作者认为由于CenterNet进行回归时仅仅使用中心点的那些目标是次优的选择，同时作者借助了FCOS是使用Ground Truth回归所有样本的思想，这里作者想到使用高斯核来选择回归样本，一方面可以增加回归的信息量，提升检测精度，同时作者指出这样有增加batch size的效果，可以使用更大的学习率以及有更短的训练时间。并且没有引入FCOS中耗时的NMS后处理过程，使得Inference时间减小。

（五）Method

5.1 CenterNet的回顾

CenterNet将目标检测任务分成两个部分：

• center Localization
• size regression

定位上，采用Gaussian核去预测heat-map，这个heat-map能够使网络在接近物体中心的位置有更高的激活输出。
回归上，定义中心点的那个pixel作为训练样本,直接预测目标的宽和高，
预测离散化误差，CenterNet还预测偏移以恢复由输出步幅引起的离散化误差。
None NMS，在推理中在对象中心附近产生更高的activations，因此耗时的NMS可以用开销可以忽略不计的其他组件来代替。

5.2 TTFNet

整体设计

模型的整体框架说明

作者在实验中使用ResNet以及Darknet作为backbone，通过backbone提取的特征被上采样到原始图像$\frac{1}{4}$分辨率上，这个是通过Modulated Deformable Convolution(MDCN)以及上采样层实现的，在MDCN层之后是跟着Batch Normalization以及ReLU的。

向上采样的特征然后分别通过两个不同的目标。Localization head在靠近物体中心的位置产生high activate，而regression head直接预测从这些位置到盒子四边的距离。由于Object中心对应于feature map上的局部最大值，因此我们可以借助2D max-pooling抑制非最大值。然后我们使用局部最大值的位置来收集回归结果。最终得到检测结果.

作者提升小目标检测的方法

我们的方法有效地利用了large and medium-sized objects中的annotation信息,但是，对于小目标，则包含了较少的信息，为了提升小目标的检测性能，作者增加了shortcut connections在backbone的stage 2、3和4的特征，并且每个shortcut connections由3 × 3卷积层实现。对于stage 2、3和4，层的数目被设置为3、2和1，并且除了shortcut connections中的最后一层之外，每个层后面都跟着一个ReLu函数

Notations
给定一张图片，利用网络分别预测物体中心在什么位置$\hat{H}\in R^{N\times C\times \frac{H}{r}\times \frac{W}{r}}$和回归box size的向量$\hat{S}\in R^{N\times 4\times \frac{\dot{H}}{r}\times \frac{W}{r}}$，其中$N$表示batch size，$C=80$表示类别数，$H$表示输入图像的高，$W$表示输入图像的宽，$r=4$表示输出的步长，在后面的叙述中，省略了batch size$N$,在我们的方法中，在分类和回归时同时使用高斯核，并通过$\alpha$和$\beta$控制高斯核的尺寸。

5.2.1 在目标定位上

假设一张图上有M个annotated box，其中第m个标注box属于$c_m$类别，二维的高斯核：
$${\mathbf{K}}_m(x,y)=\exp \left(-\frac{{\left(x-x_0\right)}^2}{2{\sigma }_x^2}-\frac{{\left(y-y_0\right)}^2}{2{\sigma }_y^2}\right)$$
其中${\sigma }_x=\frac{\alpha w}{6},{\sigma }_y=\frac{\alpha h}{6}$
博主从We use $\left(\lfloor \frac{x}{r}\rfloor ,\lfloor \frac{y}{r}\rfloor \right)$ to force the center to be in the pixel as in CenterNet.推断上面的$x,y$是在原始输入图像size$(H\times W)$一个级别上的，此时$(x_0,y_0)$表示原始输入图像上的lable bounding box的中心点，box size$(h,w)$也是在输入图像级别上的。
此时我发现了两个问题：

• 作者在文中提出使用${\mathbf{K}}_m(x,y)$产生$H_m\in R^{1\times \frac{H}{r}\times \frac{W}{r}}$,博主发现这个在尺度上不对应啊？我们$(x,y)$在输入图像size上的话，那么输出的2D高斯核的size应该是$H\times W$尺度的？
• 作者提到使用$\alpha$和$\beta$控制核的大小，在这里我们仅仅看到了$\alpha$？实际上$\beta$在回归的高斯核函数中使用了

从上面的高斯核中我们可以发现，高斯核的情况主要由annotated box中心点的坐标$(x_0,y_0{)}_m$，box的size $(h,w{)}_m$以及$\alpha$决定的，这里作者说$\alpha =0.54$没有经过仔细的Abalation。
利用高斯核生成$H_m$之后，怎么从$H_m$变换到我们物体中心位置的输出Ground Truth$H$上呢？
我们可以初始化$H$为全zero，接着从上面第m个box属于$c_m$中，我们可以令H的第c_m个通道和$H_m$做一个element-wise的最大化。这样我们可以将所有annotated box表示在网络输出特征图$\hat{H}$对应的Ground Truth$H$上了
在中心点的正样本中，我们仅仅将高斯分布的峰值看成是正样本，也就是盒中心的像素,其他任何像素都看成是负样本（这样的话，我觉得我们没有必要在分类分支计算这个高斯核，因为我们仅仅用到样本中心点，并没有涉及到高斯核非零非1的其他位置）

那么现在我们有了网络的预测输出$\hat{H}$，以及对应的网络的目标$H$,此时我们的损失定义为：

损失使用Focal Loss
$$L_{loc}=\frac{1}{M}\sum _{xyc}\{\begin{array}{lr}{\left(1-{\hat{H}}_{ijc}\right)}^{{\alpha }_f}\log \left({\hat{H}}_{ijc}\right)& \text{ if }{H}_{ijc}=1\\ {\left(1-H_{ijc}\right)}^{{\beta }_f}{\hat{H}}_{ijc}^{{\alpha }_f}\log \left(1-{\hat{H}}_{ijc}\right)& \text{ else }\end{array}$$
其中${\alpha }_f=2$和${\beta }_f=4$为focal loss的超参数，关于这两个超参数的作用，可以查看我之前的Focal Loss由来讲解博客

5.2.2 在box size回归上

跟Object Localization 中相同，我们假设一张图上有M个annotated box，其中第m个标注box,采用另一个高斯核产生$S_m\in R^{1\times \frac{H}{r}\times \frac{W}{r}}$,这里的高斯核是通过$\beta$来控制的，我们节省计算，作者这里令$\alpha =\beta$，这里有一个疑问是：$S_m$是如何产生的呢？,高斯核全为正值，那么为什么$S_m$会存在着值为0区域呢？在$S_m$高斯核的非零区域我们计作$A_m$,这里的$A_m$常常在m-box中，如下图所示，注意：这里$A_m$表示是的特征图

上图应该表示的是两个annotated box，以及相对应的正样本，只不过在文中的正样本是带有权重的,在$A_m$中的每一个样本都是回归样本，需要用到回归box当中

网络是如何进行box回归的？

在$A_m$特征图上，某一个非零位置$(i,j)$，我们先将其变换到输入图像大小上，得到$(ir,jr)$，其中$r$表示步长，此时我们可以在输入图像上计算，$(ir,jr)$到annotated box四个边的距离分别为${\left(w_l,h_t,w_r,h_b\right)}_{ij}^m$
这里又有一个问题是我们网络的回归目标是什么？
博主觉得这里应该是和FCOS相同，使用${\left(w_l,h_t,w_r,h_b\right)}_{ij}^m$作为网络的输出，然后为了计算损失，需要将网络输出变换到$\left({\hat{x}}_1,{\hat{y}}_1,{\hat{x}}_2,{\hat{y}}_2\right)$上，变换的过程为：
$$\begin{array}{l}{\hat{x}}_1=ir-{\hat{w}}_{l}s,{\hat{y}}_1=jr-{\hat{h}}_{t}s\\ {\hat{x}}_2=ir+{\hat{w}}_{r}s,{\hat{y}}_2=jr+{\hat{h}}_{b}s\end{array}\text{\hspace{1em}(3)}$$
其中$s$仅仅是一个固定的标量，这里是为了扩大预测结果，以便于优化，这里$s$的值设置为16

如何解决$A_m$出现区域重叠的问题呢？

可以利用FCOS的解决思路，我们先回归到那个面积较小的box上

如何计算回归损失呢？

我们网络预测回归为$\hat{S}\in R^{N\times 4\times \frac{\dot{H}}{r}\times \frac{W}{r}}$，网络预测回归对应的真值$\widehat{S^{{}^{\prime }}}\in R^{N\times 4\times \frac{\dot{H}}{r}\times \frac{W}{r}}$,这里$S$应该是对应着$\frac{{\left(w_l,h_t,w_r,h_b\right)}_{ij}^m}{s}$，$\hat{S}$应该是对应着${\left({\hat{w}}_l,{\hat{h}}_t,{\hat{w}}_r,{\hat{h}}_b\right)}_{ij}^m$(因为没有看代码，这里是博主个人观点)，我们对$S$和$\hat{S}$进行维度变换，并去掉pixel not contained in any sub-areas，得到$S^{\prime }\in R^{N_{reg}\times 4}$以及${\hat{S}}^{\prime }\in R^{N_{reg}\times 4}$,其中$N_{reg}$表示回归样本的总量，接着利用$(3)$式将${\hat{S}}^{\prime }$中的4个向量$\left({\hat{w}}_l,{\hat{h}}_t,{\hat{w}}_r,{\hat{h}}_b\right)$变换到$\left({\hat{x}}_1,{\hat{y}}_1,{\hat{x}}_2,{\hat{y}}_2\right)$上，同理将$S^{{}^{\prime }}$也变换到$x_1,y_1,x_2.y_2$的这种形式上,接着使GIoU计算损失
$$L_{reg}=\frac{1}{N_{reg}}\sum _{(i,j)\in A_m}\mathrm{GIoU}\left({\hat{B}}_{ij},B_m\right)\times W_{ij}$$
其中${\hat{B}}_{i,j}$表示的是detected box $({\hat{x}}_1,{\hat{y}}_1,{\hat{x}}_2,{\hat{y}}_2{)}_{i,j}$,$B_m$表示第m个annotated box在输入图像size上$(x_1,y_1,x_2,y_2{)}_m$，$W_{i,j}$表示采样权重，

如何看待大小目标的区别？

由于大物体可能产生数千个样本，而小物体可能只产生几个样本。将所有样本贡献的损失归一化后，小物体贡献的损失甚至可以忽略不计，这将损害对小物体的检测性能。
作者这里采取的方法是使用$W_{i,j}$进行损失的一个平衡
$$W_{ij}=\{\begin{array}{ll}\log \left(a_m\right)\times \frac{{\mathrm{G}}_m(i,j)}{{\sum }_{(x,y)\in A_m}{\mathrm{G}}_m(x,y)}& (i,j)\in A_m\\ 0& (i,j)\notin A\end{array}$$
其中$G_m(i,j)$表示在$(i,j)$位置的高斯概率，$a_m$表示第m个box的面积，这里我感到奇怪的是为什么乘上$log(a_m)$呢？也就说面积越大，我们越看重它的损失吗？那么我们是不是就更不容易回归小目标了？

总损失情况
$L=w_{loc}{L}_{loc}+w_{reg}{L}_{reg}$，其中$w_{loc}=1.0$,$w_{reg}=5.0$

（六）Experiment

6.1 实验细节

• 数据集：使用MS COCO 2017 benchmark，使用Train split(115K images)用于训练，我们的report performance 是基于验证集Val split(5K images)
• 使用ResNet和DarknNet作为实验的backbone
• 将图片resize到512*512。并且不保持长宽比
• 除非采用长时间训练策略，否则我们在训练中仅仅使用随机翻转进行数据增强
• 我们使用unfrozen BN但是冻结all parameters of stem and stage 1 in the backbone。
• 对于ResNet来说，初始的学习率为0.016，对于DarkNet，我们的初始学习率为0.015
• mini-batch size的大小为96，学习率在epoch 18 和epoch 22分别下降10倍
• 网络使用SGD训练了24个epoch
• 超快的训练版本，训练schedule减半
• 对长时间训练版本，训练时间增加了5倍(120个epochs)，权重衰减和动量分别设置在0.0004和0.9，至于网络中的bias参数，它们的权重衰减设置为0，并且学习率翻倍。
• warm-up在前500个steps使用
• 初始backbone网络使用在ImageNet上的预训练权重
• 实验基于开源的detection toolbox mmdetection，使用8块1080Ti

6.2 Ablation Study

我们在Ablation study中使用super-fast TTNet-53，在COCO 5K-val上进行AP的计算，Inference 时间通过1台GTX 1080Ti来进行计算。
回归权重$W_{i,j}$

对上面5组实验进行说明，

首先是第一组，从下文的描述中，博主认为该组实验采取的损失函数为：
$$L_{reg}=\frac{1}{N_{reg}}\sum _{(i,j)\in A_m}\mathrm{GIoU}\left({\hat{B}}_{ij},B_m\right)$$
该损失函数没有考虑大小目标产生的回归样本数量之间的差异，大物体产生的样本数是小物体的几百倍，然后同时除以一张图中回归的总样本数$N_{reg}$使得小目标在损失中的贡献被缩小了若干倍。

接着是第二组，博主认为这里作者采取的损失函数应该是
$$L_{reg}=\sum _{(i,j)\in A_m}\frac{1}{n_m}\mathrm{GIoU}\left({\hat{B}}_{ij},B_m\right)$$
其中$n_m$表示第m个annotated box $B_m$对应的回归样本数，这样我们将大样本的损失和小样本的损失通过均值归一化到一样的程度上，使得大小样本达到平衡，不过作者指出这样处理会导致次优的结果，因为它失去了利用large boxes包含更多信息的机会。

接着第三组，博主认为作者这里采取的损失函数应该是
$$L_{reg}=\frac{1}{N_{reg}}\sum _{(i,j)\in A_m}\mathrm{GIoU}\left({\hat{B}}_{ij},B_m\right)\times W_{ij}$$
其中$W_{ij}=\{\begin{array}{ll}\sqrt{a_m}& (i,j)\in A_m\\ 0& (i,j)\notin A\end{array}$
第四组中，权重$W_{ij}=\{\begin{array}{ll}\log a_m& (i,j)\in A_m\\ 0& (i,j)\notin A\end{array}$
第五组中，权重为：$W_{ij}=\{\begin{array}{ll}\sqrt{a_m}\times \frac{{\mathrm{G}}_m(i,j)}{{\sum }_{(x,y)\in A_m}{\mathrm{G}}_m(x,y)}& (i,j)\in A_m\\ 0& (i,j)\notin A\end{array}$
第六组中，权重为$W_{ij}=\{\begin{array}{ll}\log \left(a_m\right)\times \frac{G_m(i,j)}{{\sum }_{(x,y)\in A_m}{G}_m(x,y)}& (i,j)\in A_m\\ 0& (i,j)\notin A\end{array}$
通过Ablation 实验对比出各种损失函数的差异。
我们在回归权重中引入高斯概率，可以更优雅、更有效地降低ambiguous样本和low-quality样本的影响。ambiguous样本是指位于重叠区域的样本，low-quality样本是指远离物体中心的样本

在回归目标中引入高斯核

我们的高斯设计可以减少两种类型的样本(ambigous 以及 low-quality样本)，而没有任何副作用。它在box内部产生一个sub-area，sub-area的相对大小受超参数β的影响。较大的β利用了更多带注释的信息，但也带来了更多ambiguous样本和low-quality的样本
当$\beta =0$时，仅仅是box center作为回归的样本，和CenterNet相同，当$\beta =1$时rectangle box中所有的样本都会被看成是训练样本，

对于$\beta$的Ablation实验，从中我们可以看到随着$\beta$的增加，我们能够利用到更多的信息，从而使得AP值增加，但是随着$\beta$的持续增加，包含了更多的ambiguous样本以及low-quality的样本，使得AP下降，这里的疑问是class-aware regression指的是什么？这个地方不知道作者是怎么安排这组实验的
从上图中可以看出，利用高斯核来生成回归samples能够比中心点以及矩形子区域获得更好的效果

在高斯核中考虑box的长宽比

博主认为这里长宽比应该是在高斯核的方差中，那么这组实验中我感到奇怪的一点是：当没有使用高斯核时，是如何使用长宽比的？

Shortcut Connection

skip connection的步数是没有经过仔细的选择的

作者前文提到的更大学习率的设计

为了验证batch size大小和由annotated encode(其实就是回归的样本数)的训练样本数量之间的相似性，我们通过改变β和学习率来进行实验。如上表所示，我们可以观察到更大的β保证了更大的学习速率和更好的性能。此外，β越小，趋势越明显，因为ambiguous和low-quality样本越少。换句话说，有更多的样本就像扩大batch size一样，有助于进一步提高学习率。

从头开始训练，不加载Pre-train参数

从头开始训练收敛的会慢一些，需要更长的训练时间

和State-of-art的比较

我们训练时间很短，并且在推理时间上和FCOS相比要短很多

使用相同backbone上，TTFnet和CenterNet的比较

注:我们注意到，CenterNet为DLA34使用了专门定制的上采样层。为了在使用DLA34时比较CenterNet和TTFNet，我们用CenterNet中的层替换了TTFNet中的上采样层，因此我们对网络结构的更改不能应用（这里不是非常清楚作者指的是什么）。

（七）Conclusion

训练样本越多，学习速度越快，并提出了一种利用高斯核进行训练的新方法。它是平衡训练时间、推理速度和准确性的优雅而高效的解决方案。

（八）Notes

8.1 CenterNet中存在的问题

CenterNet在Inference时间上大大减少，几乎和backbone网络消耗的时间差不多了，

• 但是需要很长的训练时间，这是因为due to the simplification, making them heavily dependent on the data augmentation and long training schedule. 这使得CenterNet花费在训练上的时间相当长，需要140个epoch在MS COCO数据集上
• 此外，作者在论文中之处，CenterNet仅仅关注对象的中心进行size regression，失去了利用对象中心附近的information，这是导致CenterNet收敛慢的一个原因。

作者在训练CenterNet中发现的问题：

• 较大的学习率不能帮助CenterNet较快地收敛，并且移除augmentations会导致糟糕的性能
  作者分析原因是：CenterNet中仅仅编码了在对象中心的单个回归样本

8.2 batchsize和学习率之间的关系

batchsize越大，可以采用更大的学习率，并且在大多数情况下，两者是呈线性关系的。作者在文中不断提及encode training samples plays a similar role as increasing the batch size，两者都可以为每一个training step提供更多的supervised signals

在论文Accurate, large minibatch SGD: training imagenet in 1 hour中指出，如果batch size乘上了k，那么学习率也应该乘上k，除非网络发生了较大的改变，

8.3 作者提出的利用Gaussian Kernel去编码训练样本是什么？

作者通过Gaussian kernel编码训练样本，使得网络能够更好地利用上annotated boxes产生更多的监督信息，帮助网络实现更快地收敛。

更具体地来说，就是利用kernel构造了围绕着物体中心的一个sub-area，，然后从这个区域中提取dense training samples。高斯概率被视为回归样本的权重，以强调对象中心附近的那些样本

8.4 作者论文的动机启发是什么？

首先，作者受到论文Accurate, large minibatch SGD: training imagenet in 1 hour的启发，注意到增加batch size 能够给每一个training step提供更多的有监督信息，同时在学习率上也可以提升，从而能够实现更快地训练。

接着作者借助SGD形式化说明了，论文中提及的大多数情况下，batch size的增加，意味着可以使用更大的学习率，两者之间是呈近似线性关系的，下面则是说明的过程：

首先SGD的公式如下
$$w_{t+1}=w_t-\eta \frac{1}{n}\sum _{x\in B}\nabla l\left(x,w_t\right)$$
其中$w$表示网络的权重，$B$表示训练集的mini-batch采样，其中$n=|B|$表示mini-batch的大小，$\eta$表示学习率。$l(x,w_t)$表示损失函数，接着假设一张图像$x$包含很多的annotated boxes，这些boxes被编码成训练samples $s\in S_x$,$m_x=|S_x|$表示一张图像中所有的samples总数。
这样的话我们整体损失就可以分别计算图片中每一个samples的损失，再取平均值(不太清楚这里为什么不取和，直接这样表示的话，是不是说的是每一个经过编码后的sample s都和之前的x是相同量级的？还是怎么安排的)，将$\nabla l\left(x,w_t\right)$用$\frac{1}{m_x}{\sum }_{s\in S_x}\nabla l\left(s,w_t\right)$进行替换，得到如下的表达式：
$$w_{t+1}=w_t-\eta \frac{1}{n}\sum _{x\in B}\frac{1}{m_x}\sum _{s\in S_x}\nabla l\left(s,w_t\right)$$
这里我有两个疑问：

• $m_x$的数量和图像$x$中的bounding boxes数量相同吗？
• 作者是如何利用annotated bounding boxes产生training samples $s$的？

当假设mini-batch $B$中的每一张图片$x$中$m_x$(the number of samples produced by all the boxes in image $x$)相同时,即$m_x=m(\forall x\in B)$，那么此时我们可以进一步对上式进行化简,由${\sum }_{x\in B}\frac{1}{m_x}{\sum }_{s\in S_x}\nabla l\left(s,w_t\right)=\frac{1}{m}{\sum }_{x\in B}{\sum }_{s\in S_x}\nabla l\left(s,w_t\right)=\frac{1}{m}{\sum }_{s\in B}\nabla l\left(s,w_t\right)$得到：
$$w_{t+1}=w_t-\eta \frac{1}{nm}\sum _{s\in B}\nabla l\left(s,w_t\right)$$
我们对上式以Batch size大小为$B_j$执行k次迭代，假定每一次迭代对应的batch size大小即$n=|B|$相同，同时使用学习率为$\eta$，得到下式：
$$w_{t+k}=w_t-\eta \frac{1}{nm}[\sum _{s\in B_0}\nabla l\left(s,w_t\right)+\sum _{s\in B_1}\nabla l\left(s,w_{t+1}\right)+...+\sum _{s\in B_{k-1}}\nabla l\left(s,w_{t+k-1}\right)]$$
当假设$\nabla l\left(x,w_t\right)\approx \nabla l\left(x,w_{t+j}\right)，\forall j<k$,那么上式中，我们再假设k次迭代的mini-batch中没有交集，则上式可以表示为：
$$w_{t+k}=w_t-\eta \frac{1}{nm}\sum _{s\in {\cup }_{j\in [0,k)}{B}_j}\nabla l\left(s,w_t\right)\text{\hspace{1em}(1)}$$
当我们执行batch size为$k|B|=kn$时，执行一次更新，学习率对应为${\eta }_{new}$，此时进行一次参数更新得到的结果为：
$$w_{t+1}=w_t-{\eta }_{new}\frac{1}{knm}\sum _{s\in {\cup }_{j\in [0,k)}{B}_j}\nabla l\left(s,w_t\right)\text{\hspace{1em}(2)}$$
从$(1)$式和$(2)$式的对应中，我们可以发现如果想要$w_{t+k}=w_{t+1}$,我们采取的学习率${\eta }_{new}=k\eta$,是一个线性关系。
这里很关键的是
作者是通过encoded samples 来实现batch size的增加的，用原文的话是when the number of encoded training samples in each mini-batch is multiplied by k，博主认为这里作者应该可以控制编码训练样本的数量，从而达到和增加batch size一样的效果

不过由于编码好的训练样本$s\in S_x$存在着较强的相关性，因此，在学习率增加上面不能太大，因此作者这里的学习率${\eta }_{encode}=l\eta$,其中$1\le l\le k$
作者通过对CenterNet实验发现了：CenterNet中仅仅encode对象中心的回归样本。导致学习率增加不能够加快收敛速度。
基于提升学习率以及CenterNet中存在的编码回归样本的问题，作者有了本文。
别人咋想的论文呢？

8.5 相比于CenterNet 作者的改动有哪些？

• 在中心点定位上和CenterNet使用相同的定位方法，此外，作者考虑了在Gaussian核中box的长宽比
• 主流方法将整个box中的所有像素或者box的sub-rectangle区域看成训练样本，我们是将高斯区域中的所有样本看成训练样本。
• 通过Object size以及Gaussian 概率计算权重，并且不需要额外的预测来矫正error，更加简单高效。