卷积神经网络CNN（2）—— BN(Batch Normalization) 原理与使用过程详解

已于 2022-03-29 17:20:28 修改
阅读量10w+ 收藏 424
点赞数 79
分类专栏： 深度学习 文章标签： cnn 神经网络 BN
于 2016-11-28 11:56:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fate_fjh/article/details/53375881
版权

前言

Batch Normalization是由google提出的一种训练优化方法。参考论文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift
网上对BN解释详细的不多，大多从原理上解释，没有说出实际使用的过程，这里从what, why, how三个角度去解释BN。

What is BN

Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。
先说Batch是怎么确定的。在CNN中，Batch就是训练网络所设定的图片数量batch_size。

Normalization过程，引用论文中的解释：
这里写图片描述
输入：输入数据x1…xm（这些数据是准备进入激活函数的数据）
计算过程中可以看到,
1.求数据均值
2.求数据方差
3.数据进行标准化（个人认为称作正态化也可以）
4.训练参数γ，β
5.输出y通过γ与β的线性变换得到新的值
在正向传播的时候，通过可学习的γ与β参数求出新的分布值

在反向传播的时候，通过链式求导方式，求出γ与β以及相关权值
这里写图片描述

Why is BN

解决的问题是梯度消失与梯度爆炸。
关于梯度消失，以sigmoid函数为例子，sigmoid函数使得输出在[0,1]之间。
这里写图片描述
事实上x到了一定大小，经过sigmoid函数的输出范围就很小了，参考下图
这里写图片描述
如果输入很大，其对应的斜率就很小，我们知道，其斜率（梯度）在反向传播中是权值学习速率。所以就会出现如下的问题，
这里写图片描述
在深度网络中，如果网络的激活输出很大，其梯度就很小，学习速率就很慢。假设每层学习梯度都小于最大值0.25，网络有n层，因为链式求导的原因，第一层的梯度小于0.25的n次方，所以学习速率就慢，对于最后一层只需对自身求导1次，梯度就大，学习速率就快。
这会造成的影响是在一个很大的深度网络中，浅层基本不学习，权值变化小，后面几层一直在学习，结果就是，后面几层基本可以表示整个网络，失去了深度的意义。

关于梯度爆炸，根据链式求导法，
第一层偏移量的梯度=激活层斜率1x权值1x激活层斜率2x…激活层斜率(n-1)x权值(n-1)x激活层斜率n
假如激活层斜率均为最大值0.25，所有层的权值为100，这样梯度就会指数增加。

How to use BN

先解释一下对于图片卷积是如何使用BN层。
这里写图片描述
这是文章卷积神经网络CNN（1）中5x5的图片通过valid卷积得到的3x3特征图（粉红色）。这里假设通道数为1，batch为4，即大小为[4,1,3,3] (n,c,h,w)。特征图里的值，作为BN的输入，这里简化输出只有一个channel，也就是这一个4x3x3个数值通过BN计算并保存均值与方差，并通过当前均值与方差计算归一化的值，最后根据γ,β以及归一化得值计算BN层输出。假如输入是3个通道，就是在通道的维度上进行bn，所以会有3个γ,β参数。

这里需要着重说明的细节：
网络训练中以batch_size为最小单位不断迭代，很显然，新的batch_size进入网络，由于每一次的batch有差异，实际是通过变量，以及滑动平均来记录均值与方差。训练完成后，推断阶段时通过γ, β，以及记录的均值与方差计算bn层输出。

结合论文中给出的使用过程进行解释
这里写图片描述
输入：待进入激活函数的变量
输出：
1.对于K个激活函数前的输入，所以需要K个循环。每个循环中按照上面所介绍的方法计算均值与方差。通过γ,β与输入x的变换求出BN层输出。
2.在反向传播时利用γ与β求得梯度从而改变训练权值（变量）。
3.通过不断迭代直到训练结束，得到γ与β，以及记录的均值方差。
4.在预测的正向传播时，使用训练时最后得到的γ与β，以及均值与方差的无偏估计，通过图中11:所表示的公式计算BN层输出。
至此，BN层的原理与使用过程就解释完毕，给出的解释都是本人觉得值得注意或这不容易了解的部分，如有錯漏，请指正。
BN层正向传播之前存在勘误，博文已经过修改

Fate_fjh
关注
  • 79
    点赞
  • 踩
  • 424
    收藏
    觉得还不错? 一键收藏
  • 30
    评论
专栏目录
卷积神经网络CNN模型架构介绍
06-22
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，其设计灵感来源于生物视觉系统的结构。在计算机视觉、图像处理和自然语言处理等领域，CNN已经成为解决复杂任务的关键技术。相较于传统的全...
卷积神经网络中的bn层应用
09-20
主要为卷积神经网络中的bn层应用，bn层也是一个数据处理的方式，一般位于非线性激活层之前，全连接层之后，本资源涵盖4个代码，分别为bn层建立，cn层在实例中的应用，bn层测试以及有无bn层的对比，供大家更好地了解bn层的作用 本资源为分类实例代码，读者可以更好地通过代码了解bn层
神经网络中BN层简介及位置分析
二十年蝉电子学习博客
11-21 1830
Batch Normalization是深度学习中常用的技巧，Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (Ioffe and Szegedy, 2015) 第一次介绍了这个方法。这个方法的命名，明明是Standardization, 非要叫Normalization, 把本来就混用、意义不明的两个词更加搅得一团糟。
【卷积层、BN层(Batch Normalization)、激活函数理解】
m0_56066265的博客
01-12 5691
主要是由于目前主流的梯度更新方式是mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。
卷积神经网络（CNN）自学笔记3：BN层、池化层
最新发布
yuyu_297的博客
06-04 1313
BN层通过对每一批数据进行归一化处理，解决了神经网络训练过程中梯度消失和梯度爆炸的问题，加速了训练过程，并且可以在一定程度上减少模型对初始参数的敏感性和对过拟合的依赖。BN层除了能够解决内部协变量偏移问题之外，还提供了一定的正则化效果，从而提高了模型的泛化能力。总的来说，BN层通过标准化输入特征，解决了训练过程中的内部协变量偏移问题，同时提供了正则化效果，有效提升了模型的训练效率和泛化能力。通过对特征图进行下采样，减少数据的空间维度，同时保留关键信息，从而降低计算复杂度并减小过拟合风险。
转载：卷积神经网络结构组成与解释
wuling129的专栏
06-13 1350
卷积神经网络结构组成与解释
Batch Normalization 算法训练和推断过程
weixin_30414245的博客
04-24 1572
Batch Normalization就是批归一化，在神经网络的layer未激活输出之前加一道Batch Normalization的工序，以下简称BN。关于BN的原理介绍，网上有很多资料，也可以参考这篇https://www.cnblogs.com/huwj/p/10759532.html，在这里仅仅列出BN的训练和推断过程。 一、BN的训练(train)过程 BN的...
卷积层、BN层
weixin_43143419的博客
03-19 2070
文章目录1.Bn层详解2.卷积神经网络相关激活函数过拟合 1.Bn层详解 https://blog.csdn.net/qq_37100442/article/details/81776191 1)BN层在网络中的作用 BN层是一种批规范化操作，公式为减均值除标准差，然后乘γ加β。将输入分布归一化到0，1分布，使得激活函数更好的作用，因此解决了梯度消失的问题。同时由于数据被归一化，使得网络可以有更好的收敛速度。但是似乎没有证据表明它可以解决高层的网络输入分布变化剧烈的问题（Internal Covariat
卷积神经网络卷积层BN层计算原理和卷积BN层融合
IEEE_FELLOW的博客
04-26 7616
模块融合：将一些相邻模块进行融合以提高计算效率，比如conv+relu或者conv+batch normalization+relu，最常提到的BN融合指的是conv+bn通过计算公式将bn的参数融入到weight中，并生成一个bias； 上图详细描述了BN层计算原理以及如何融合卷积层和BN层，这里进行验证： 定义三个模型： 定义模型1 ： 一层卷积层和一层BN层网络 import numpy as np import math import torch import torch.nn .
bn层学习笔记 卷积层和BN层融合
jacke121的专栏
05-20 6618
1. 为什么要合并BN层 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技术，因此，我们有必要将 BN 层的参数合并到卷积.
神经网络中BN层的原理与作用
热门推荐
weixin_42080490的博客
09-28 2万+
BN层介绍 BN，全称Batch Normalization,是2015年提出的一种方法，在进行深度网络训练时，大都会采取这种算法。 原文链接：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN层进去来替换掉LRN层，网络可以收敛。BN层和卷积层，池化层一样都是一
BN层详解（含有公式推导过程）
Orange_sparkle的博客
09-19 1万+
如果以上的你懂看明白的话，BN你就理解的差不多了。BN层就是用在激活函数前，用来使上一层的输出，分布在均值为0，方差为1的情况下，也就是对下一层的输入做归一化的操作，这样就能够使它经过激活函数时能够有一定的梯度，从而避免值太大而进入饱和区，梯度就非常小了，不利于梯度下降。并且除了均值和方差，BN层还有自己的学习参数γ和β，网络通过学习来得到想要的数据分布，参数γ和β在训练中通过反向传播中的γ与β求得梯度，从而不断改变每个通道的γ和β参数。
实验六卷积神经网络CNN框架的实现与应用.pdf
09-26
实验六卷积神经网络CNN框架的实现与应用 本实验主要目的是掌握卷积神经网络（CNN）的基本原理，并利用 LeNet-5 CNN 框架实现手写数字识别。实验中，我们使用了 MNIST 数据集，初始图像大小为 28*28，并采用了多个卷...
神经网络与深度学习卷积神经网络CNN图像训练数据
05-14
在这个“神经网络与深度学习卷积神经网络CNN图像训练数据”中，我们主要探讨的是如何利用CNN对图像进行有效训练，从而提升模型的性能。 CNN的设计灵感来源于人脑的视觉皮层，它通过层次化的结构来解析输入图像。...
python编写卷积结构_CNN_卷积神经网络_源码
10-04
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，尤其在图像处理、计算机视觉和自然语言处理等领域有着广泛的应用。Python是实现这一技术的常用编程语言，拥有丰富的深度学习库如TensorFlow...
python基于opencv下使用卷积神经网络的车牌识别系统 详细代码 可直接使用
08-30
在这两部分中我都是使用CNN卷积神经网络训练之后进行识别内容。 车牌定位部分使用的技术主要为图像预处理，车牌轮廓提取还有车牌的定位； 字符识别部分使用的技术主要为字符的分割，然后完成字符识别，输出车牌信息...
李沐动手学深度学习V2-Batch Normalization批量规范化内容和代码从零实现
flyingluohaipeng的博客
05-04 1443
1.Batch Normalization 批量规范化 1.1 介绍 训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 批量规范化（batch normalization）是一种流行且有效的技术，可持续加速深层网络的收敛速度。 再结合后面的残差块，批量规范化使得研究人员能够训练100层以上的网络。 1.2 为什么需要批量规范化层呢？ 首先，数据预处理的方式通常会对最终结果产生巨大影响。 回想一下我们应用多层感知机来预测房价的例子。 使用真实数据时，我们的第一步是标准化输入特征，使其平
机器学习: 神经网络中的Batch Normalization(BN)算法
JacksonKim的博客
05-12 3248
aa
神经网络BN(Batch Normalization)层总结(下)
lipengfei0427的博客
10-10 1026
总结(上)链接:https://blog.csdn.net/lipengfei0427/article/details/108995955 四、作用 前三条最重要 1）防止梯度消失与梯度爆炸 （1）关于梯度消失 以sigmoid函数为例子，sigmoid函数使得输出在[0,1]之间。 事实上x到了一定大小，经过sigmoid函数的输出范围就很小了，参考下图 如果输入很大，其对应的斜率就很小，我们知道，其斜率（梯度）在反向传播中是权值学习速率。所以就会出现如下的问题， 在...
基于pytorch的卷积神经网络cnn实例应用及详解
04-28
卷积神经网络（Convolutional Neural Network，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习中应用最广泛的一种模型之一。下面以一个基于PyTorch实现的CNN实例应用为例，详细说明CNN的实现过程。 ## 数据集 本例使用的是Fashion-MNIST数据集，该数据集包含了10个类别的服装图片，每个类别包含6000张28x28像素的灰度图像，其中训练集包含了60000张图片，测试集包含了10000张图片。可以使用PyTorch内置的函数`torchvision.datasets.FashionMNIST`来获取该数据集。 ## 模型结构 本例使用了一个较为简单的CNN模型，包含两个卷积层和两个全连接层，具体结构如下： ``` CNN( (conv1): Conv2d(1, 16, kernel_size=(5, 5), stride=(1, 1)) (pool1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False) (conv2): Conv2d(16, 32, kernel_size=(5, 5), stride=(1, 1)) (pool2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False) (fc1): Linear(in_features=512, out_features=128, bias=True) (fc2): Linear(in_features=128, out_features=10, bias=True) ) ``` 其中`Conv2d`表示卷积层，`MaxPool2d`表示最大池化层，`Linear`表示全连接层。`conv1`用于提取图像的低级特征，`pool1`用于降低特征图的分辨率，`conv2`用于进一步提取图像的高级特征，`pool2`再次降低特征图的分辨率，最后通过两个全连接层进行分类。 ## 实现过程 ### 1. 导入相关库 ``` import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms ``` ### 2. 加载数据集 ``` transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) trainset = torchvision.datasets.FashionMNIST(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True, num_workers=2) testset = torchvision.datasets.FashionMNIST(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False, num_workers=2) ``` ### 3. 定义CNN模型 ``` class CNN(nn.Module): def __init__(self): super(CNN, self).__init__() self.conv1 = nn.Conv2d(1, 16, kernel_size=5) self.pool1 = nn.MaxPool2d(kernel_size=2) self.conv2 = nn.Conv2d(16, 32, kernel_size=5) self.pool2 = nn.MaxPool2d(kernel_size=2) self.fc1 = nn.Linear(512, 128) self.fc2 = nn.Linear(128, 10) def forward(self, x): x = self.conv1(x) x = nn.functional.relu(x) x = self.pool1(x) x = self.conv2(x) x = nn.functional.relu(x) x = self.pool2(x) x = x.view(-1, 512) x = self.fc1(x) x = nn.functional.relu(x) x = self.fc2(x) return x net = CNN() ``` ### 4. 定义损失函数和优化器 ``` criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) ``` ### 5. 训练模型 ``` for epoch in range(10): # 进行10轮训练 running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() # 梯度清零 outputs = net(inputs) # 前向传播 loss = criterion(outputs, labels) # 计算损失函数 loss.backward() # 反向传播 optimizer.step() # 更新参数 running_loss += loss.item() if i % 200 == 199: # 每200个batch输出一次损失函数 print('epoch[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 200)) running_loss = 0.0 ``` ### 6. 测试模型 ``` correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy on test set: %d %%' % (100 * correct / total)) ``` 以上就是一个基于PyTorch实现的CNN模型的实现过程，如果有需要可以根据实际情况进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值