本文介绍了深度学习中两种优化技术——CBN（Cross-iteration BatchNorm）和DropBlock，并探讨了它们在小批量数据上的应用。CBN通过结合历史批次信息改善BN效果，而DropBlock是一种阻止特征聚集的正则化方法，提升模型泛化能力。虽然源码未找到，但理解这些概念对于优化模型性能至关重要。
yolov4的pytorch源码我没有找到上述tricks的对应code
只能去搜罗相似的代码了，yolo5如果有源码的话我今后会补充进来
我觉得贴源码没什么意思，我就大白话说下这个是干啥的，有兴趣自己看下我贴的源码就好
CBN
CBN就是所谓的Cross-iterationBatchNorm
CBN
就是batchNorm是对一批batch数据做归一化的，如果batch很小（比如目标检测任务中，图片太大加上GPU的限制，一般batch都设定的很小），BN的效果就不太好
针对这个问题，提出的解决方案，就是每次算BN的时候参考前面的BN
怎么样 是不是来感觉了？
类似指数加权的方式白用不烂，当然这个和nn.Batchnorm2D中的动量参数还是有点区别的
具体实现可以看下原论文和代码，涉及到泰勒展开等内容
像我们这种不是搞学术，只搞落地的可以忽略了，因为真正好用的东西pytorch都会给我们加进去的
DropBlock
yolo版没找到，后续v5再补吧
自对抗训练SAT
yolo版没找到，后续v5再补吧
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
