4.2 transforms运行机制、数据标准化

最新推荐文章于 2024-08-01 16:37:11 发布
最新推荐文章于 2024-08-01 16:37:11 发布
阅读量541 收藏
点赞数
分类专栏： 11 Python/DL/ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengchengliu/article/details/108666386
版权
本文详细探讨了机器学习中transforms的运行原理，重点解析了数据标准化的重要性及其实施步骤。通过对数据预处理的深入分析，揭示了如何有效提升模型性能。
摘要由CSDN通过智能技术生成

 

 

这节课介绍pytorch的图像预处理模块transforms的运行机制。

 

首先介绍transforms机制。然后介绍常用的数据标准化方法：Normalize

 

一、transforms运行机制

 

在安装pytorch的时候，下载安装了两个安装个包，一个是torch，一个是torchvision。torchvision是pytorch的计算机视觉工具包。在torchvision中有三个主要的模块。      

 

torchvision.transforms提供了一系列的图像预处理方法。

第二个主要模块是datasets,这里定义了一些列常用的数据集。

最后一个模块是model模块，提供了常用的与训练模型。

今天我们主要学习transforms.

 

 

 

我们知道深度学习是由数据驱动的。而数据的数量和分布对模型的优劣起到决定性作用。所以，我们需要对数据进行一系列的预处理及数据增强来提升模型的泛化能力。

右边的这64张图片都来源于一张图片。

 

我们通过代码来学
最低0.47元/天 解锁文章
/home/liupc
关注
专栏目录
系统学习Pytorch笔记九：正则化与标准化大总结
Miracle8070
04-27 3130
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
系统学习Pytorch笔记八：Tensorboard可视化与Hook机制
Miracle8070
04-27 3424
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
transform.Normalize（标准化）
qq_36575363的博客
11-28 2124
transform.ToTensor(), transform.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5)) 那transform.Normalize()是怎么工作的呢？以上面代码为例，ToTensor()能够把灰度范围从0-255变换到0-1之间，而后面的transform.Normalize()则把0-1变换到(-1,1).具体地说，对每个通道而言，Normalize执行以下操作： image=(image-mean)/std 其中mean（...
PyTorch|Transforms运行机制
木千之
01-21 196
如同我们曾经做过的“5年高考3年模拟”，历届高考题类似于标准训练集，而模拟题则是在标准高考题上的演化和改变，若高考时遇到类似题目，则可以较好地的作答，从而实现了“泛化”能力。对于“torchvision.transforms”而言，其提供了常用的图像处理方法，典型如：数据中心化、数据标准化、缩放、裁剪、翻转、跳转、填充、噪声添加、灰度变换、线性变换、仿射变换以及亮度、饱和度和对比度变换等。从学习观的角度，模拟题的意义在于改变原始高考题的考查形式，从而对比凸显出不变的考点和解题方法。
transform详解
最新发布
weixin_41012399的博客
08-01 767
transform的attention也是需要用权重代表重要程度，输入*权重=输出，再用输出和label计算loss，transform的权重是通过自注意力机制（Q，K，V）计算得到的。transformer：输入，位置编码，编码器（attention，前馈网络），解码器（attention，前馈网络，mask），loss，反向传播，优化器。通过embedding层得到三个token的embedding，假定分别为：[1, 0, 1, 0]，[0, 2, 0, 2]，[1, 1, 1, 1]
Transform机制(1)
爱学习爱运动的专栏
01-03 1361
本文是对李宏毅老师的课程进行了整理。 视频地址为： https://www.bilibili.com/video/BV1Wv411h7kN?p=35 1 引入 Transform的应用场景 2 基本原理 Transform机制由编码器（Encoder）和解码器（Decoder）构成。 编码器：输入是一组向量序列，输出为一组向量序列，attention（注意力机制）、CNN、RNN等都可以作为Encoder； 解码器：根据编码器的输出，利用Begin特殊符号、输入向量序列得到后续的输出向量序列（如一段文字
transform模块机制
study_happy66的博客
07-20 151
torchvision transforms：查用图像预处理方法 datasets：常用数据集的dataset实现，MINIST model：常用模型预训练 VGG transforms Compose:对transforms中的方法有序的组合 toTensor：将图片转成张量的形式，并且归一化（将像素值的区间皈依化到0-1） 测试的时候需要增强，验证的时候不需要增强 传给Dataset,构建Dataset,然后构建DataLoader transform.Normalize： 将数据.
深度学习 Transformer机制
Fantastic
10-30 6177
Transformer
paddle 53 基于PaddleClas2.5训练自己的数据（训练|验证|推理|c++ 部署）
a486259的博客
12-22 1044
paddleclas的最新项目已经不适应其官网的使用案例（训练、验证、推理命令均不适用），为此博主对其进行命令重新进行修改。同时paddleclas的推理命令并不能将推理结果进行保存，博主修改了infer.py代码，使其能保存预测结果，能将推理结果用于二次训练。本博文完整的实现了从0开始训练模型到c++模型部署。
数字孪生制造：如何通过数字化技术提高产品质量和生产效率
程序员光剑
07-17 1647
作者：禅与计算机程序设计艺术 随着数字技术的发展、生产线上工具的更新换代，数字孪生制造（Digital twins）已经成为制造业的一个热点方向。数字孪生制造可以帮助企业实现软硬件联动的全自动化，同时还可以降低成本、提升品牌知名度和竞争力。它在企业资源方面有巨大的投入，既包括资金、人员、设备等，也包括智能制造系统、算法模型和云计算平台等基
Transformer原理以及运行机制
m0_61296035的博客
11-03 7332
1.Transformer的“前世今生” transformer最开始是在
transform、注意力机制介绍
qq_43570025的博客
11-25 390
tranformer说明 图解！逐步理解Transformers的数学原理
【Transformer】注意力机制+Transformer详解（模型，训练和预测）
h661975的博客
11-30 2231
本文对Transoformer模型进行了深度解读，包括整体架构，Multi-head Attention的本质，FFN，Positional Embedding以及Layer Normalization等
一文彻底搞懂 Transformer（图解+代码手撕）
2201_75499313的博客
04-21 2764
Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。研究论文。
Transform结构详解 + 手撕版本
qq_43446879的博客
05-15 6804
Transform 下图是Transform 的整体架构，由decoder和encoder构成，下面分部分对Transform的结构进行分析 (下图来自于论文Attention is all you need)。 (论文链接https://arxiv.org/pdf/2102.10772.pdf) 1.Encoder Encoder 主要是用来对句子的输入进行编码，下面用 ”我爱学习“ 这句话为例子解析编码过程。 首先是以词向量的形式进行输入，并且这里的词向量加入了positional encodin
transforms.Normalize（）
热门推荐
qimo601的专栏
09-20 2万+
transforms.Normalize：数据标准化，即均值为0，标准差为1。
PyTorch 学习笔记:transforms的二十二个方法（transforms用法非常详细）
liangbaqiang的博客
07-15 1万+
变换是常见的图像变换。它们可以使用链接在一起Compose。此外，还有torchvision.transforms.functional模块。功能转换可以对转换进行细粒度控制。如果您必须构建更复杂的转换管道（例如，在分段任务的情况下），这将非常有用。 torchvision.transforms.Compose(transforms) transforms（Transform对象列表）-要组成的变换列表。 例子： transforms.Compose([ transforms.CenterCr
如何使用transforms.Normalize来标准化图像
04-01
使用transforms.Normalize来标准化图像需要先创建一个变换对象，然后将其应用于图像数据。具体步骤如下： 1. 创建一个变换对象，例如： ``` transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) ``` 2. 将变换对象应用于图像数据： ``` img = Image.open('example.jpg') img_transformed = transform(img) ``` 在上面的代码中，ToTensor变换将图像数据转换为张量形式，而Normalize变换则将图像数据标准化为均值为0.5，标准差为0.5的数据。 注意，要使Normalize变换正常工作，需要知道图像数据的均值和标准差。通常情况下，可以通过计算训练数据的均值和标准差来得到这些值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值