pytorch神经网络中数据标准化

最新推荐文章于 2024-08-02 23:45:01 发布
最新推荐文章于 2024-08-02 23:45:01 发布
阅读量5.6k 收藏 14
点赞数
分类专栏： 数据处理 文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43586192/article/details/111199799
版权

文章目录

一、 标准化优点

在这里插入图片描述

二、 标准化目的

使得网络的输入层、隐藏层、输入层的数据直方图都在一个指定的范围内，有利于模型的收敛，有时候为了方便输出结果更好的逼近真实结果，还会对 标签数据进行相应的标准化处理

三、 标准化方法
1、batch norm
  • 对通道进行标准化，即通道归一化
  • 解释：
    • 1、bn的计算就是把每个通道的NHW单独拿出来归一化处理
    • 2、针对每一个channel我们都有一组γ、β，所以可学习的参数为2C
    • 3、当batchsize越小，BN的表现效果也越不好，因为计算中所得到的均值和方差不能代表全局
      在这里插入图片描述
2、layer norm
  • 对批次进行归一
  • 解释
    • 1、LN的计算就是把每个CHW单独按出来归一化处理，不受batchsize的影响
    • 2、常用在RNN网络，但如果输入的特征区别很大，那么就不建议使用它做归一化处理
      在这里插入图片描述
      在这里插入图片描述
3、instance norm
  • 对单张图片进行归一化
  • 解释：
    • 1、IN的计算就是把每个HW单独拿出来归一化处理，不受通道和batchsize的影响
    • 2、常用在风格化迁移，但如果特征图可以用到通道之间的相关性，那么就不建议使用它做归一化处理
      -在这里插入图片描述
4、group norm
  • 对通道分组，对每个组进行归一化
  • 解释：
    • 1、GN的计算就是先把通道分成g组，然后把每个gHW单独拿出来归一化处理，最后把g组归一化之后的数据合并成CHW
    • 2、GN介于LN IN之间，当然可以说是LN IN就是GN的特例，比如g的大小为1或者为C
      在这里插入图片描述
5、switchable norm
  • 目前使用频率很低
  • 解释：
    • 1、将BN LN IN 结合，赋予权重，让网络自己去学习归一化层应该使用什么方法
    • 2、集万千宠爱于一身，但训练复杂
      在这里插入图片描述
6、标准化的数学公式
  • 两步骤：
    • 1、标准化
      • 使分布更加均匀，便于训练
    • 2、反标准化
      • 获得非线性表达能力
        在这里插入图片描述

反标准化：使得具有非线性能力

7、标准化流程

在这里插入图片描述
过程：非线性数据→transform→线性数据→w*x+b→非线性数据→BN：去同存异/统一量纲→线性（学习不同点/收敛较快）→反BN：还原数据→非线性（让较大的特征跟大/表达能力较好）→激活（提供更多的非线性/拉开差距）
在这里插入图片描述

四、 权重标准化方法

y=wx

还未仔细研究，等后续补充

在这里插入图片描述

菜鸡啄虫
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习 --- stanford cs231学习笔记五(训练神经网络之数据的预处理)
松下J27录放机
06-20 461
这篇文章介绍了深度学习中数据预处理的几种方法
Pytorch 神经网络—自定义数据集上实现教程
09-18
在PyTorch中，自定义...在本教程中，我们学习了如何在PyTorch中创建一个简单的全连接神经网络，并使用自定义数据集进行训练。这种能力对于处理个性化数据集或特定任务至关重要，也是深度学习实践中不可或缺的一部分。
整治标准化与归一化的乱象|Pytorch中的Normalize原理|深度学习
2301_79895143的博客
04-20 2181
是的，你没有看错，笔者在费劲敲c语言算法的时候也小小学了一点深度学习。（笑）标题或许起得狂了一点，但乱象却一点不夸张。在标准化与归一化的统一和翻译方面，CSDN上的文章真是帮了我不少倒忙...忙了一下午，翻阅了很多资料，现在把笔者认为对于标准化与归一化（即所谓的Standardization与Normalization）的最权威解释分享出来。如有遗漏与错误请各位大佬随时指正。与对本文的大力支持。进入正题。
Pytorch训练集/测试集标准化问题
quanmator
05-01 397
因此测试了以下四种情况。
PyTorch数据集标准化-Torchvision.Transforms.Normalize()(pytorch系列-31)
热门推荐
peacefairy的博客
08-15 1万+
PyTorch数据集归一化- torchvision.transforms.Normalize() 在本集中，我们将学习如何规范化数据集。我们将看到如何在代码中执行数据集归一化，还将看到归一化如何影响神经网络训练过程。 数据归一化 数据归一化的概念是一个通用概念，指的是将数据集的原始值转换为新值的行为。新值通常是相对于数据集本身进行编码的，并以某种方式进行缩放。 特征缩放 出于这个原因，有时数据归一化的另一个名称是特征缩放。这个术语指的是，在对数据进行归一化时，我们经常会将给定数据集的不同特征转化为相近的
pytorch神经网络
Hulk_liu的博客
03-30 2606
pytorch笔记
搭建PyTorch神经网络进行气温预测
qq_49641705的博客
07-11 1861
学习用Pytorch搭建一个两层的神经网络，用来进行气温预测。本次一共用了两种方法，一种手动构建，另一种运用Pytorch中的nn模块进行构建。
【PyTorch】PyTorch神经网络实战入门
GW_Krystal的博客
10-08 991
我们使用由谷歌提供的Colab免费服务，在谷歌的服务器上运行代码。 将一行像素值转换成实际图像来直观地查看一下。 构建神经网络类，以下为一个名为Classifier的类，它继承了nn.Module。 使用损失来更新网络的链接权重 替代方案是**Adam**，它利用动量的概念，减少陷入局部最小值的可能性，同时，它对每个可学习的参数使用单独的学习率
Pytorch 神经网络实践
liaozali9022的博客
05-29 550
1. 定义神经网络结构 (2种方法) import torch import torch.nn as nn import torch.nn.functional as F from torchsummary import summary # 定义网络类 class Net1(nn.Module): def __init__ (self): super(Net1, self).__init__() #定义第一层卷积层, 输入维度=1, 输出维度=6, kernel
PyTorch 与神经网络学习
尖皇
09-26 1343
有关pytorch 与神经网络搭建的笔记
pytorch 图像中的数据预处理和批标准化实例
09-18
在PyTorch中，数据预处理是深度学习模型训练前必不可少的...在数据预处理时，中心化和标准化是基础，而批标准化则是在此基础上更进阶的方法，尤其是在深度神经网络中，它能够有效地减少训练难度，提高模型的泛化能力。
chapter2_pytorch_神经网络_
09-29
5. 2.1.4-pytorch-basics-data-loader.ipynb - 数据加载器是PyTorch中处理数据集的标准工具，它负责高效地分批加载数据，通常用于训练模型。 **知识点详解：** 1. **PyTorch基础**：PyTorch是一个基于Tensor和动态...
pytorch实现前馈神经网络实验（torch实现）
10-31
预处理通常包括数据标准化、归一化或者编码。 7. **模型评估**： 评估模型性能时，可以使用验证集计算准确率或其他指标。在PyTorch中，可以使用`model.eval()`切换到评估模式，这会关闭dropout等正则化技术。 8. ...
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
09-18
今天小编就为大家分享一篇计算pytorch标准化(Normalize)所需要数据集的均值和方差实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【机器学习西瓜书学习笔记——神经网络】
m0_51148715的博客
07-31 1769
*竞争型学习：**是神经网络中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制，这种机制也称 “胜者通吃” 原则。局部最小值是在某一区域内，函数的取值达到了最小，但是如果将这个区域扩展到定义域上来，那么这个局部最小值就不一定是最小的。通过制定权重和阈值得到可以进行逻辑运算的感知机，那么如果给定训练数据集，同样我们可以通过学习得到相应地权重和阈值。目的是为了能够提高我们的预测精度，减少误差，从而最大限度的降低成本。
在利用 Python 编码和 PyTorch 深度学习框架训练神经网络和实验评估时，如何控制所有可能的随机性？
最新发布
叶庭云 成为自己的光
08-02 248
在利用 Python 编码和 PyTorch 深度学习框架训练神经网络和实验评估时，如何控制所有可能的随机性？
AI入门指南：什么是人工智能、机器学习、神经网络、深度学习？
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
08-02 871
在《AI入门指南：什么是人工智能、机器学习、神经网络和深度学习？》这篇文章中，详细介绍了人工智能的基础概念和其发展历程。文章深入浅出地解释了人工智能（AI）和机器学习（ML）之间的区别，并探讨了神经网络与深度学习的基本原理及其应用场景。通过简单易懂的示例，读者可以清晰地了解这些技术是如何相互关联的，以及它们在现实世界中的实际应用，帮助读者快速入门并掌握AI的核心知识。
和数集团十周年庆典：新起点、新目标、新征程
Likelib的博客
08-01 729
在十周年庆典这个特殊的日子，和数集团对在市场开拓、客户服务等方面具有突出表现的个人进行了表彰。
pytorch神经网络数据处理
08-25
在PyTorch中，数据处理是构建神经网络模型的重要一步。下面是一个简单的例子，展示了如何使用PyTorch进行神经网络数据处理： 1. 导入必要的库和模块： ```python import torch import torchvision from torchvision import transforms ``` 2. 定义数据转换： ```python transform = transforms.Compose([ transforms.ToTensor(), # 将图像转换为Tensor transforms.Normalize((0.5,), (0.5,)) # 标准化图像数据 ]) ``` 3. 加载训练数据集： ```python train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transform, download=True) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) ``` 这里使用了`MNIST`数据集作为示例，你也可以使用其他数据集。 4. 迭代训练数据集： ```python for images, labels in train_loader: # 在这里进行模型训练 pass ``` 在训练数据集的迭代过程中，你可以根据自己的需求来设计模型训练的逻辑。 这只是一个简单的示例，PyTorch还提供了更多的功能和灵活性来处理数据，例如自定义数据集、图像增强等。你可以根据具体的需求，进一步扩展和优化数据处理的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值