wulele2的博客

为了加深对Focal Loss理解，本文提供了一个简单的手写Demo。根据真实标签yyy的不同，Focal Loss 可以分为两种情况：1) 当真实标签y1y = 1y1FLp−α1−pγlog⁡pFLp−α1−pγlogp2) 当真实标签y0y = 0y0FLp−1−αpγ。

在上一篇博文RepVGG中，介绍了RepVGG网络。RepVGG 作为一种高效的重参数化网络，通过训练时的多分支结构（3x3卷积、1x1卷积、恒等映射）和推理时的单分支合并，在精度与速度间取得了优秀平衡。然而，其在低精度（如INT8）量化后常出现显著精度损失。本文将要介绍的QARepVGG（Make RepVGG Greater Again: A Quantization-aware Approach）的提出正是为了解决这一问题。欢迎留言交流讨论。

在上一篇博文conv+bn算子融合中，介绍了conv+bn算子融合。本文将要介绍的RepVGG（Re-parameterized Convolutional Neural Network）是一种通过重新参数化技术将复杂的神经网络结构转换为简单的卷积层的方法。这种方法可以在训练时使用复杂的多分支结构，在推理时将其简化为单一的卷积层，从而显著提高推理速度。下一篇将介绍QARepVGG Block，来解决RepVGG Block量化int8掉点问题，敬请期待。

本文将详细介绍Conv+BN合并的原理、数学推导以及实现方法，并通过测试用例验证其正确性。通过将卷积层和批量归一化层合并为一个等效的卷积操作，我们可以在推理阶段减少计算量，从而提升模型的推理效率。本文详细介绍了合并的数学原理，并提供了一个完整的PyTorch实现和测试用例。希望本文能帮助读者更好地理解Conv+BN合并的原理和应用。

在本人阅读目标检测相关论文时，一直对论文中所介绍的优化器及学习率比较困惑，尤其在复写论文代码时，很可能会因参数对不齐而导致最终的复现结果大相径庭。因此，本文旨在记录相关论文在中所使用的优化器及其code实现。（本文不定时更新…）在mmdetection中retinanet的优化器包含两部分：优化器：sgd；学习率调整器包含warmup（热身500个it额rationo），并在第9轮和第12轮时学习率以指数的形式衰减0.1倍。