机器学习算法那些事 | 【深度学习】完全解读BatchNorm2d归一化算法原理

于 2024-10-06 08:30:00 发布
阅读量380 收藏 8
点赞数 6
分类专栏： 深度学习拓展阅读 文章标签： 机器学习 算法 深度学习 transformer 人工智能 计算机视觉 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_xmj/article/details/141335052
版权

本文来源公众号“机器学习算法那些事”，仅用于学术分享，侵权删，干货满满。

原文链接：【深度学习】完全解读BatchNorm2d归一化算法原理

最近在研究yolo的算法源码，在调试过程中发现中间层的BatchNorm2d的结果竟然出现了Nan。

第一次遇到这种情况，为了找出其中的原因，小编查阅了Pytorch官网关于BatchNorm2d的函数解释和网上关于该函数的相关博客，脑壳还是有点模糊，没有代码的测试验证，仅仅用文字去解释BatchNorm2d函数，初学者很容易一头雾水，半知半懂。

本文结合代码去验证BatchNorm2d的算法实现，若有不懂，读者可以参考文中代码并修改参数，来验证自己对该函数的理解是否准确。

实际项目中，我们处理的数据大部分是4维的，如：

模型参数是否需要更新，需要结合参数布尔型参数trainning和track_running_states来看，模型归一化的结果也因这两种参数的不同而不同。

根据模型处于训练阶段或测试阶段，参数trainning和track_running_states有4种组合方式。

  • trainning = True，track_running_states = True，模型处于训练阶段，表示每作一次归一化，模型都需要更新参数均值和方差，即更新参数 running_mean 和 running_var 。

  • trainning = True，track_running_stats = False，模型处于训练阶段，表示对新的训练数据进行归一化时，不更新模型的均值和方差，这种设置是错误的，因为不能很好的描述全局的数据统计特性。

  • trainning = False，track_running_stats = True，模型处于测试阶段，表示模型在归一化测试数据时，需要考虑模型的均值和方差，但是不更新模型的均值和方差。

  • trainning = False，track_running_stats = False，模型处于测试阶段，表示模型在归一化测试数据时，不考虑模型的均值和方差，这种设置是错误的，归一化的结果会造成统计特性的偏移。

由上面4种组合参数的介绍，正确的参数设置应为：

训练阶段：trainning = True，track_running_stats = True

测试阶段：training = False，track_running_stats = True

脑壳是不是一头雾水，下面用例子说明参数的含义：

1. 训练阶段的归一化实例

初始化训练阶段的归一化模型：

m3 = nn.BatchNorm2d(3, eps=0, momentum=0.5, affine=True, track_running_stats=True).cuda()
# 为了方便验证，设置模型参数的值
m3.running_mean = (torch.ones([3])*4).cuda() # 设置模型的均值是4
m3.running_var = (torch.ones([3])*2).cuda() # 设置模型的方差是2

# 查看模型参数的值
print('trainning:',m3.training)
print('running_mean:',m3.running_mean)
print('running_var:',m3.running_var)
# gamma对应模型的weight，默认值是1
print('weight:',m3.weight)
# gamma对应模型的bias，默认值是0
print('bias:',m3.bias)

#>
trainning: True
running_mean: tensor([4., 4., 4.], device='cuda:0')
running_var: tensor([2., 2., 2.], device='cuda:0')
weight: Parameter containing:
tensor([1., 1., 1.], device='cuda:0', requires_grad=True)
bias: Parameter containing:
tensor([0., 0., 0.], device='cuda:0', requires_grad=True)

生成批量数据为1，通道为3，均值为0方差为1的416行416列输入数据：

# 生成通道3，416行416列的输入数据
torch.manual_seed(21)
input3 = torch.randn(1, 3, 416, 416).cuda()
# 输出第一个通道的数据
input3[0][0]

#>
tensor([[-0.2386, -1.0934,  0.1558,  ..., -0.3553, -0.1205, -0.3859],
        [ 0.2582,  0.2833,  0.7942,  ...,  1.1228,  0.3332, -1.2364],
        [-0.8235, -1.1512, -0.5026,  ...,  0.9393, -0.5026, -0.4719],
        ...,
        [-0.2843, -1.3638, -0.4599,  ...,  1.6502,  0.4864, -0.1804],
        [ 0.3813, -0.6426,  0.4879,  ...,  2.7496,  1.8501,  1.7092],
        [ 0.8221, -0.5702,  0.1705,  ...,  1.0553,  1.0248,  0.5127]],
       device='cuda:0')

对上面的数据进行归一化：

# 数据归一化
output3 = m3(input3)
# 输出归一化后的第一个通道的数据
output3[0][0]

#>
tensor([[-0.2427, -1.0955,  0.1508,  ..., -0.3592, -0.1249, -0.3897],
        [ 0.2529,  0.2779,  0.7876,  ...,  1.1154,  0.3277, -1.2382],
        [-0.8262, -1.1531, -0.5061,  ...,  0.9323, -0.5061, -0.4755],
        ...,
        [-0.2884, -1.3652, -0.4635,  ...,  1.6416,  0.4805, -0.1847],
        [ 0.3757, -0.6458,  0.4820,  ...,  2.7383,  1.8410,  1.7004],
        [ 0.8154, -0.5735,  0.1654,  ...,  1.0480,  1.0176,  0.5067]],
       device='cuda:0', grad_fn=<SelectBackward>)

为了理解BatchNorm2d的函数实现，我们编写此函数的算法实现，比对归一化结果。

# 计算更新后的均值和方差
momentum = m3.momentum    # 更新参数
# 更新均值
ex_new = (1 - momentum) * ex_old + momentum * obser_mean
# 更新方差
var_new = (1 - momentum) * var_old + momentum * obser_var
# 打印
print('ex_new:',ex_new)
print('var_new:',var_new)

#>
ex_new: tensor([2.0024, 2.0015, 2.0007], device='cuda:0')
var_new: tensor([1.5024, 1.4949, 1.5012], device='cuda:0')

我们不调用归一化函数，自己编写训练阶段的归一化代码：

# 输入数据的均值
obser_mean = torch.Tensor([input3[0][i].mean() for i in range(3)]).cuda()
# 输入数据的方差
obser_var = torch.Tensor([input3[0][i].var() for i in range(3)]).cuda()
# 编码归一化
output3_source = (input3[0][0] - obser_mean[0])/(pow(obser_var[0] + m3.eps,0.5))
output3_source

#>
tensor([[-0.2427, -1.0955,  0.1508,  ..., -0.3592, -0.1249, -0.3897],
        [ 0.2529,  0.2779,  0.7876,  ...,  1.1154,  0.3277, -1.2382],
        [-0.8262, -1.1531, -0.5061,  ...,  0.9323, -0.5061, -0.4755],
        ...,
        [-0.2884, -1.3652, -0.4635,  ...,  1.6416,  0.4805, -0.1847],
        [ 0.3757, -0.6458,  0.4820,  ...,  2.7383,  1.8410,  1.7004],
        [ 0.8154, -0.5735,  0.1654,  ...,  1.0480,  1.0176,  0.5067]],
       device='cuda:0')

结果一致，我们输出模型的running_mean和running_var：

m3.running_mean,m3.running_var

#>
(tensor([2.0024, 2.0015, 2.0007], device='cuda:0'),
 tensor([1.5024, 1.4949, 1.5012], device='cuda:0'))

发现模型的running_mean和running_var和我们计算的更新均值与方差结果一致，同时通过代码我们也知道模型的running_mean和running_var是在forward()操作中更新的，训练阶段的算法实现就介绍到这，下面介绍下测试阶段归一化的算法实现。

2. 测试阶段的归一化实例

初始化归一化模型，并设置模型处于测试阶段：

# 初始化模型，并设置模型处于测试阶段
import torch
import torch.nn as nn
m3 = nn.BatchNorm2d(3, eps=0, momentum=0.5, affine=True, track_running_stats=True).cuda()
# 测试阶段
m3.eval()
# 为了方便验证，设置模型参数的值
m3.running_mean = (torch.ones([3])*4).cuda()     # 设置模型的均值是4
m3.running_var = (torch.ones([3])*2).cuda()      # 设置模型的方差是2

# 查看模型参数的值
print('trainning:',m3.training)
print('running_mean:',m3.running_mean)
print('running_var:',m3.running_var)
# gamma对应模型的weight，默认值是1
print('weight:',m3.weight)
# gamma对应模型的bias，默认值是0
print('bias:',m3.bias)

#>
trainning: False
running_mean: tensor([4., 4., 4.], device='cuda:0')
running_var: tensor([2., 2., 2.], device='cuda:0')
weight: Parameter containing:
tensor([1., 1., 1.], device='cuda:0', requires_grad=True)
bias: Parameter containing:
tensor([0., 0., 0.], device='cuda:0', requires_grad=True)

生成3通道，416行416列的输入数据

# 初始化输入数据，并计算输入数据的均值和方差
# 生成通道3，416行416列的输入数据
torch.manual_seed(21)
input3 = torch.randn(1, 3, 416, 416).cuda()
# 输入数据的均值
obser_mean = torch.Tensor([input3[0][i].mean() for i in range(3)]).cuda()
# 输入数据的方差
obser_var = torch.Tensor([input3[0][i].var() for i in range(3)]).cuda()
# 打印
print('obser_mean:',obser_mean)
print('obser_var:',obser_var)

#>
obser_mean: tensor([0.0047, 0.0029, 0.0014], device='cuda:0')
obser_var: tensor([1.0048, 0.9898, 1.0024], device='cuda:0')

归一化输入数据，并打印第一个通道的数据

# 数据归一化
output3 = m3(input3)
# 输出归一化后的第一个通道的数据
output3[0][0]

#>
tensor([[-2.9971, -3.6016, -2.7182,  ..., -3.0797, -2.9136, -3.1013],
        [-2.6459, -2.6281, -2.2668,  ..., -2.0345, -2.5928, -3.7027],
        [-3.4107, -3.6424, -3.1838,  ..., -2.1642, -3.1838, -3.1621],
        ...,
        [-3.0295, -3.7928, -3.1536,  ..., -1.6615, -2.4845, -2.9560],
        [-2.5588, -3.2828, -2.4834,  ..., -0.8842, -1.5202, -1.6199],
        [-2.2471, -3.2316, -2.7078,  ..., -2.0822, -2.1038, -2.4659]],
       device='cuda:0', grad_fn=<SelectBackward>)

自己编写测试阶段的归一化代码，结果与调用BatchNorm2d函数结果一致。

# 归一化函数实现
output3_source = (input3[0][0] - m3.running_mean[0])/(pow(m3.running_var[0] + m3.eps,0.5))
output3_source

#>
tensor([[-2.9971, -3.6016, -2.7182,  ..., -3.0797, -2.9136, -3.1013],
        [-2.6459, -2.6281, -2.2668,  ..., -2.0345, -2.5928, -3.7027],
        [-3.4107, -3.6424, -3.1838,  ..., -2.1642, -3.1838, -3.1621],
        ...,
        [-3.0295, -3.7928, -3.1536,  ..., -1.6615, -2.4845, -2.9560],
        [-2.5588, -3.2828, -2.4834,  ..., -0.8842, -1.5202, -1.6199],
        [-2.2471, -3.2316, -2.7078,  ..., -2.0822, -2.1038, -2.4659]],
       device='cuda:0')

打印模型的running_mean和running_var

# 查看模型的running_mean和running_var
print(m3.running_mean,m3.running_var)

#>
tensor([4., 4., 4.], device='cuda:0') tensor([2., 2., 2.], device='cuda:0')

由结果可知，执行测试阶段的froward函数后，模型的running_mean和running_var不改变。

3. 小结

由上面例子可知：

当trainning = True，track_running_stats = True，训练阶段改变了模型的running_mean和running_var，归一化算法的均值和方差采用了模型更新前的running_mean和 running_var 。

当trainning = False，track_running_stats = True，测试阶段不改变了模型的running_mean和running_var，归一化算法的均值和方差采用了模型的running_mean和 running_var 。

其他两种情况（trainning = True，track_running_stats = False 和 trainning = False ，track_running_stats = False），小伙伴可以用上述例子去验证这两种情况的算法实现，因为这两种情况会产生较大的偏差，这里不作介绍了。

回到本文的第一个问题，为什么归一化后会出现Nan，原来由于前面的失误，造成最后一个通道的方差小于 0 ，如下红框标记的图：

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。

双木的木
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
机器学习(二) 本文(2.5万字) | KNN算法原理及Python复现 |
weixin_44302770的博客
12-24 958
K近邻(K-nearst neighbors, KNN)是一种基本的机器学习算法，所谓k近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表；KNN算法既可以应用于分类应用中，也可以应用在回归应用中 KNN在做回归和分类的主要区别在于最后做预测的时候的决策方式不同。KNN在分类预测时，一般采用多数表决法；而在做回归预测时，一般采用平均值法 ———————————————— 版权声明：本文为CSDN博主「小酒馆燃着灯」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上
完全解读BatchNorm2d归一化算法原理
机器学习算法那些事
01-14 5476
最近小编在研究yolo3的算法源码，在调试过程中发现中间层的BatchNorm2d的结果竟然出现了Nan。第一次遇到这种情况，为了找出其中的原因，小编查阅了Pytorch官网关于Batc...
机器学习实战 | Python机器学习算法应用实践
热门推荐
ShowMeAI研究中心
03-21 2万+
本篇文章详解机器学习应用流程，应用在结构化数据和非结构化数据(图像)上，借助案例重温机器学习基础知识，并学习应用机器学习解决问题的基本流程。
【机器学习】机器学习的基本概念、算法的工作原理、实际应用案例
weixin_51306394的博客
07-30 2712
机器学习是人工智能的一个分支，它使计算机能够在没有明确编程的情况下从数据中学习并改进其性能。机器学习的目标是让计算机自动学习模式和规律，从而能够对未知数据做出预测或决策。
【机器学习】11.十大算法之一随机森林算法原理讲解
weixin_50804299的博客
06-19 6958
随机森林是一种集成学习方法，它通过构建多个决策树来进行分类或回归问题。这种方法的核心思想是利用多个决策树的预测结果，通过投票或平均的方式来提高整体模型的准确性和鲁棒性。随机森林中的“随机”体现在两个方面：首先，每棵树在训练时，从原始数据集中随机选择一部分数据点作为训练集；其次，在每棵树的每个分裂节点上，只考虑一部分特征，而不是所有特征。这种方法的优点在于它能够处理高维数据，并且对特征的缺失值和异常值具有较好的容忍性。
深度学习——归一化
Blalaaa的博客
09-24 1286
假设一个函数：健康=3✖️身高+2✖️体重（身高：m，体重：斤）现在给出一个例子：1.6m130斤的人1，1.9m129的人2按照函数计算，你会发现他们的健康值差不多，故需要进行统一数量级，排除单位的干扰。最小-最大归一化将原始数据缩放到一个指定的最小和最大值（通常是0到1或-1到1）之间。公式如下：x——当出现3m的人，按照此公式会一直保留异常值的影响。
深度探索：机器学习中的Pix2PixHD算法原理及其应用
qq_51320133的博客
04-23 1715
Pix2PixHD算法凭借其在高清图像生成、鲁棒性、风格迁移等方面的优势，已在多个领域展现出强大的应用价值。尽管面临计算资源需求大、依赖标注数据等问题，但随着硬件性能的提升和无监督/半监督学习技术的发展，这些问题有望得到缓解。未来，进一步优化Pix2PixHD的训练效率，探索其在更多领域的应用可能性，以及与其他前沿技术（如Transformer、元学习等）的融合，将是该领域的重要研究方向。我们期待Pix2PixHD及其后续改进版本能在图像生成技术的发展道路上持续引领潮流，为人类生活带来更多的便利与创新。
深度探索：机器学习中的可变形卷积算法原理及其应用
qq_51320133的博客
04-25 1099
可变形卷积为深度学习中的卷积操作带来了革命性的改变，它通过学习输入数据上的动态采样位置，成功解决了传统卷积在处理非刚体变换和复杂几何结构时的局限性。未来的研究方向可能集中在优化偏移量预测策略，结合注意力机制进一步增强模型对重要特征的聚焦能力，以及将其推广至三维卷积、时空序列建模等更广阔的应用场景中，持续推动计算机视觉和深度学习技术的发展。
深度探索：机器学习中的 条件生成对抗网络（Conditional GAN, CGAN）算法原理及其应用
qq_51320133的博客
04-21 2651
条件生成对抗网络（CGAN）通过引入条件变量，实现了对生成样本属性的精准控制，极大地拓宽了GAN的应用范围。尽管训练难度和条件依赖性等问题尚待进一步解决，但CGAN已在图像生成、跨模态学习等多个领域取得了显著成果。随着研究的深入，未来有望在以下几个方向取得突破： 稳定性和收敛性改进：研发新型训练策略和网络架构，提高CGAN的训练效率和稳定性。 高级条件控制：探索更复杂的条件表示和融合机制，以应对高维度、非线性条件变量。 跨模态和多任务学习：结合更多模态数据，实现更丰富的跨模态生成任务，并在单一模型中处理多
细说PyTorch深度学习：理论、算法、模型与编程实现 03
05-27
PyTorch是一个广泛使用的开源库，由Facebook开发，旨在为机器学习研究提供便利，同时也适合于工业级应用。它以其动态计算图模式和直观的API而受到青睐。 一、深度学习理论 深度学习是人工智能领域的一个分支，其...
AI人工智能深度学习算法：卷积神经网络的原理与应用
AI天才研究院
06-20 1069
1. 背景介绍 卷积神经网络（Convolutional Neural Network，简称 CNN）是一种深度学习算法，它在图像识别、语音识别、自然语言处理等领域取得了巨大的成功。卷积神经网络的核心思想是利用卷积操作和池化操作对输入数据进行特征提取和分类，从而实现对图像、语音等数据的识别和分类。本文将介绍卷积神经网络的原理、核心概念与联系、数学模型
机器学习笔记 - week6 -（十一、机器学习系统的设计）
qq_24428851的博客
09-27 831
值，假设我们使用一种需要大量参数的学习算法，比如有很多特征的逻辑回归或线性回归，或者用带有许多隐藏单元的神经网络，那又是另外一种带有很多参数的学习算法，这些都是非常强大的学习算法，它们有很多参数，这些参数可以拟合非常复杂的函数，因此我要调用这些，我将把这些算法想象成低偏差算法，因为我们能够拟合非常复杂的函数，而且因为我们有非常强大的学习算法，这些学习算法能够拟合非常复杂的函数。于是他们把诸如这样的机器学习问题，当做一类监督学习问题，并尝试将其分类，什么样的词，在一个英文句子特定的位置，才是合适的。
李宏毅机器学习2022-HW8-Anomaly Detection
Tunny_one
09-27 649
李宏毅机器学习2022-HW8-Anomaly Detection
机器学习：探索未知边界，解锁智能潜力
2301_79181030的博客
09-28 921
在这个日新月异的科技时代，机器学习作为人工智能领域的核心驱动力，正以前所未有的速度改变着我们的世界。从智能家居的个性化推荐到自动驾驶汽车的精准导航，从医疗诊断的辅助分析到金融市场的风险预测，机器学习技术以其强大的数据处理能力和自我优化特性，不断拓宽着人类认知与应用的边界。未来，我们有望看到更加智能、高效、人性化的机器学习应用不断涌现，为人类社会带来更多的便利和福祉。通过对用户行为数据的深度挖掘和分析，金融机构能够更准确地评估贷款风险，及时发现潜在的欺诈行为，并为用户提供更加个性化的理财建议。
【机器学习】——决策树以及随机森林
酷酷的伟的博客
09-28 1148
决策树（Decision Tree）是一种基于树形结构的监督学习算法，广泛应用于分类和回归任务。它通过一系列的决策规则逐步将数据集划分成多个子集，从而构建出易于理解的决策模型。决策树不仅易于可视化、便于解释，还能够处理复杂的多变量决策问题，因此在各类机器学习模型中占有重要地位。
diffusion vs GAN
Kuekua的专栏
09-27 954
条件生成对抗网络（cGAN）是 Pix2pix 的基础架构。传统的 GAN（生成对抗网络）包括一个生成器（Generator）和一个判别器（Discriminator），生成器从噪声分布中生成假样本，判别器则尝试区分真假样本。cGAN 则在此基础上加入了条件信息，使得生成过程不仅依赖于噪声，还依赖于特定的条件输入，从而引导生成器生成符合条件的样本。
240929-CGAN条件生成对抗网络
weixin_66378701的博客
09-29 868
前面我们学习了GAN（）和DCGAN（），接下来继续来看CGAN（Conditional GAN）条件生成对抗网络。
机器学习框架
最新发布
golove666的博客
09-29 1140
机器学习框架
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值