【译】Understanding Batch Normalization with Examples in Numpy and Tensorflow with Interactive Code

最新推荐文章于 2024-04-10 04:00:37 发布
最新推荐文章于 2024-04-10 04:00:37 发布
阅读量603 收藏
点赞数
分类专栏： Batch Normalization Numpy Deep Learning; Deep Learning / Deep Learning; Generative Adve 文章标签： 机器学习 深度学习 batch normalization numpy

因此，今天，我将探讨批量标准化（ 批量标准化： 通过 Sergey Ioffe 和 Christian Szegedy 减少内部协变量来加速深度网络培训 ）。 但是，为了加强我对数据预处理的理解，我将覆盖3个案例，

案例1 - 规范化 ：整体数据（Numpy）
案例2 - 标准化 ：整体数据（Numpy）
情况3 - 批量标准化 ：微型批量（Numpy / Tensorflow）

**注**我不会在这篇文章中回顾传播！

实验设置

这个实验的设置非常简单。 要模拟真实世界的用例，可以从随机正常分布中创建一个32 * 32图像，并为其添加一些噪声。 以上是我们的形象。

红框 →（图像数量，图像宽度，图像高度，通道数量）现在我们将使用32 * 32灰度图像。
左图 →我们图像数据的直方图

正如您在上面看到的，我们的图像平均值为26，方差为306。左边我们可以看到图像数据的直方图。

情况1：标准化 - 整体数据

对于我们的第一种情况，我们可以对整个数据集进行标准化。 从视觉上看，我们可以观察到没有区别。

但是，一旦我们绘制直方图或查看均值和标准差，我们可以清楚地看到我们的数据在0和1的范围内。

案例2：标准化 - 整体数据

再一次，从视觉上看，我看不出有什么不同。

但是，当我们看到直方图的轴时，我们可以清楚地看到，我们的数据的均值已经移到0（几乎），方差是1。

标准化/标准化方程式

来自这个网站的图片

左→方程式进行归一化
右 →标准化等式

以防万一，如果有人想知道，让我们回顾一下正常化和标准化的情况。 请注意， μ是平均值， σ是标准偏差。

批量标准化等式

红框→用于标准化的等式
蓝线→要学习的参数

现在我们已经涉及了规范化和标准化，我们可以看到批量规范化的公式与标准化的过程完全相同。 唯一的区别是gamma和beta术语，用蓝色下划线。 我们可以将这些术语看作完全像权重，我们将根据地面实况数据计算误差，并使用反向传播学习这些参数。

但有一件事我想注意！ 如果我们设置伽玛（谢谢 洛阳方 纠正我 ） 为1，贝塔值为0，那么整个过程就是标准化。 而对于Tensorflow的实施，我们将滥用这个属性。

案例3：批量标准化 - 纯粹实施

红线 →迷你批次，从我们的图像数据的前10个图像
蓝框 →数据标准化

这里有一点需要注意，对于批量标准化，我们将从我们的测试数据中获取前10个图像并应用批量标准化。

再次，我们可以看到平均值在0左右，方差为1.现在让我们来看看张量流的实现。

情况3：批量标准化 - Tensorflow

红线 →迷你批次，从我们的图像数据的前10个图像
蓝线→偏移（Beta）为0，缩放（Gamma）为1

再一次，在视觉上，我们看不出任何区别。

但是，如果我们看一下数据的均值和方差，我们可以看到它与应用标准化完全相同 。

交互式代码（Google Collab / Replit / Microsoft Azure Notebook）

对于Google Colab，您需要一个Google帐户才能查看代码，并且您无法在Google Colab中运行只读脚本，因此请在游戏场地上制作副本。 最后，我绝不会要求获得在Google云端硬盘上访问您的文件的权限，仅供参考。 快乐编码！

要访问Google Colab上的代码， 请点击此处 。
要访问Repl上的代码， 请点击此处 。
要访问Microsoft Azure Notebook上的代码， 请点击此处 。

最后的话

最近Face book AI研究小组正式发布。 （ 由 吴宇欣 和 何凯明 组织的标准化 ）我会尽力掩盖这一点。

如果发现任何错误，请发送电子邮件至jae.duk.seo@gmail.com，如果您希望查看我所有写作的列表，请在此处查看我的网站 。

同时在我的twitter上跟随我，访问我的网站或我的Youtube频道获取更多内容。 如果您有兴趣，我也在这里比较了解耦神经网络。

参考

  1. CS231n 2016年冬季：第5讲：神经网络第2部分（2018年）。 YouTube上。 检索2018年3月19日，从https://www.youtube.com/watch?v=gYpoJMlgyXA&feature=youtu.be&list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC&t=3078
  2. Thorey，C。（2016）。 通过批量标准化的梯度是什么样的？ Cthorey.github.io。 检索于2018年3月19日，来自http://cthorey.github.io/backpropagation/
  3. 批量范数Backprop方程的导出| Chris Yeh。 （2018）。 Chrisyeh96.github.io。 检索于2018年3月19日，来自https://chrisyeh96.github.io/2017/08/28/deriving-batchnorm-b​​ackprop.html
  4. 导出批量归一化后向梯度的梯度。 （2018）。 Kevinzakka.github.io。 检索于2018年3月19日，来自https://kevinzakka.github.io/2016/09/14/batch_normalization/
  5. Kratzert，F。（2018）。 了解向后传递批处理标准化层。 Kratzert.github.io。 检索2018年3月19日，从https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html
  6. （2018）。 Arxiv.org。 检索于2018年3月19日，来自https://arxiv.org/pdf/1502.03167.pdf
  7. numpy.histogram - NumPy v1.13手册。 （2018）。 Docs.scipy.org。 检索于2018年3月19日，来自https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.histogram.html
  8. numpy.random.weibull - NumPy v1.13手册。 （2018）。 Docs.scipy.org。 检索于2018年3月19日，来自https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.random.weibull.html#numpy.random.weibull
  9. numpy.var - NumPy v1.14手册。 （2018）。 Docs.scipy.org。 检索于2018年3月26日，来自https://docs.scipy.org/doc/numpy/reference/generated/numpy.var.html
  10. 资料？，H。（2018）。 如何使用Python中的Matplotlib绘制一个直方图并列出数据？ Stackoverflow.com。 检索2018年3月26日，从https://stackoverflow.com/questions/33203645/how-to-plot-a-histogram-using-matplotlib-in-python-with-a-list-of-data
  11. numpy.random.randn - NumPy v1.14手册。 （2018）。 Docs.scipy.org。 检索于2018年3月27日，来自https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.randn.html
  12. Wu，Y.，＆He，K。（2018）。 组标准化。 Arxiv.org。 检索于2018年3月27日，来自https://arxiv.org/abs/1803.08494
  13. 标准化与标准化| 数据挖掘博客 - www.dataminingblog.com 。 （2007年）。 Dataminingblog.com。 检索于2018年3月27日，来自http://www.dataminingblog.com/standardization-vs-normalization/
  14. Ioffe，S.，＆Szegedy，C。（2015）。 批量标准化：通过减少内部协变量来加速深度网络培训。 Arxiv.org。 检索于2018年3月27日，来自https://arxiv.org/abs/1502.03167
  15. 正态分布。 （2018）。 Mathsisfun.com。 检索于2018年3月27日，来自https://www.mathsisfun.com/data/standard-normal-distribution.html

https://towardsdatascience.com/understanding-batch-normalization-with-examples-in-numpy-and-tensorflow-with-interactive-code-7f59bb126642
Omni-Space
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Machine Learning Engineering Case Studies with Python notebook
程序员光剑
08-06 1158
作者：禅与计算机程序设计艺术Machine learning engineering (MLE) is the process of developing machine learning systems that can perform tasks with high accuracy and efficiency at scale. MLE involves designing, building, testing, deploying, monitoring, and maintaining mach
深度学习中的Batch Normalization
fu6543210的博客
08-27 639
在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 时初次遇到batch normalization（BN）. 文中说BN能加速收敛等好处，但是并不理解，然后就在网上搜了些关于BN的资料。 看了知乎上关于深度学习中 Batch Normalization为什么效果好？ 和CSDN上一个关于Batch Normalization 的学...
chatgpt赋能Python-numpy归一化函数
weixin_45566993的博客
05-17 423
归一化（Normalization）是指将有量纲的数据按照比例缩放，使其落在一个特定的区间内。在归一化后，不同数据之间可以进行比较和处理，数据的分布也更加符合预期。一些机器学习算法，如K-均值、支持向量机等，也要求输入的数据经过归一化处理，以确保计算的效率和准确性。NumPy是Python语言的一个扩展程序库，支持大量的高维数组与矩阵运算，同时对于数组运算提供了很多支持函数。NumPy的主要对象是同质多维数组（homogeneous multidimensional array）。
Understanding Batch Normalization
fuyouzhiyi的博客
09-04 589
Batch Normalization 批标准化(Batch Normalization)输入为 mini-batch的数据，记为Ib,c,x,yI_{b,c,x,y}Ib,c,x,y​. 输出也是维度为4的张量，记为Ob,c,x,yO_{b,c,x,y}Ob,c,x,y​ 其中，b表示batch，c为通道数， (x,y)是空间维度 BN是在给定的通道上，对所有的激活做标准化。公式如下 算法： ...
Numpy实现BatchNormalization
AI浩
09-16 3440
class BatchNormalization(Layer): """Batch normalization. """ def __init__(self, momentum=0.99): self.momentum = momentum self.trainable = True self.eps = 0.01 self.running_mean = None self.running_var = N
理解 Batch Normalization
zhiwei2coder的博客
05-09 308
参考链接： https://zhuanlan.zhihu.com/p/26138673 https://blog.csdn.net/hjimce/article/details/50866313 https://blog.csdn.net/myarrow/article/details/51848285 原理 BN的本质是解决了反向传播过程中的梯度消失问题。 梯度消失/爆炸问题 ...
Numpy实现BatchNormalization，2024年最新一线互联网大厂中高级Python面试真题收录
最新发布
2401_84181403的博客
04-10 576
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
Batch Normalization和Dropout
iwill323的博客
09-16 1025
CS231n代码-- Batch Normalization和Dropout
关于Batch Normalization的理解和认识
对爱期待
03-30 1534
1 前言 Batch Normalization作为最近几年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何  有志于学习DL的同学们朋友们都应该好好学一学BN。BN倒过来看就是NB，因为这个技术确实很NB，虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论...
cs231n作业：Assignment2-Batch Normalization
MR CODER
02-24 499
from builtins import range import numpy as np def affine_forward(x, w, b): """ Computes the forward pass for an affine (fully-connected) layer. The input x has shape (N, d_1, ..., d_k) ...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
BN(Batch Normalization)详解，包含pytorch实现、numpy实现
EMIvv的博客
01-06 3697
起源 对于神经网络来说，如果每一层的数据分布都不一样，后一层的网络则需要去学习适应前一层的数据分布，这相当于去做了domian的adaptation，无疑增加了训练难度，尤其是网络越来越深的情况。 BN的那篇论文中指出，不同层的数据分布会往激活函数的上限或者下限偏移。论文称这种偏移为internal Covariate Shift，internal指的是网络内部。BN就是为了解决偏移的，解决的方式也很简单，就是让每一层的分布都normalize到标准正太分布。 我们在图像预处理过程中通常会对图像进行标准化
【深度学习】Batch Normalization原理及其python实现
筱
04-22 1774
IID独立同分布假设：假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 Internal Covariate Shift Covariate Shift：训练集和测试集数据分布不一致 Internal：指网络的隐藏层 Internal Covariate Shift：当前层输入分布受之前层参数变化的影响。在训练过程中，网络中的参数在不断变化...
Batch Normalization
whaosoft143ai的博客
02-23 293
在进入批量归一化 (Batch Normalization) 之前，让我们了解术语 “Normalization”。归一化是一种数据预处理工具，用于将数值数据调整为通用比例而不扭曲其形状。通常，当我们将数据输入机器或深度学习算法时，倾向于将值更改为平衡的比例。规范化是为了确保模型可以适当地概括数据。现在回到 Batch Normalization，这是一个通过在深度神经网络中添加额外层来使神经网络更快、更稳定的过程。新层对来自上一层的层的输入执行标准化和规范化操作。whaosoft aiot http://
NumPy数据的归一化
极歌科技
06-13 1万+
NumPy数据的归一化 数据的归一化 首先我们来看看归一化的概念: 数据的标准化（normalization）和归一化 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权...
Python numpy 归一化和标准化 代码实现
热门推荐
Kenn7的博客
01-14 17万+
归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered） def normalization(data): _range = np.max(data) - np.min(data) return (data - np.min(data)) / _range def standardization(d...
关于Batch Normalization
zz2230633069的博客
07-03 1062
参考相关文档：关于BN的讲解论文来自于下面的第二个 [深度学习中 Batch Normalization为什么效果好？] [《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现] [从Bayesian角度浅析Batch Normalization...
numpy 归一化 与 标准化
q742971636的博客
09-13 5948
代码 import numpy as np def normalization(x): """" 归一化到区间{0,1] 返回副本 """ _range = np.max(x) - np.min(x) return (x - np.min(x)) / _range def standardization(x): """" 将...
浅谈Batch Normalization
微念的博客
11-09 667
本文对Batch Normalization作了简要介绍。
tensorflow2中基于dcgan
04-04
from tensorflow.keras.layers import Dense, Reshape, Conv2DTranspose, Conv2D, BatchNormalization, LeakyReLU, Flatten from tensorflow.keras.models import Sequential from tensorflow.keras.optimizers ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值