torch标准化_PyTorch 学习笔记(二):PyTorch的数据增强与数据标准化

加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。点击文末“阅读原文”立刻申请入群~

作者 | 余霆嵩

来源专栏 | PyTorch学习笔记

已获作者原创授权,请勿二次转发

本文截取自一个github上千星的火爆教程——《PyTorch 模型训练实用教程》,教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函数的详解等,本文为作者整理的学习笔记(二),后续会继续更新这个系列,欢迎关注。

项目代码:https://github.com/tensor-yu/PyTorch_Tutorial

在实际应用过程中,我们会在数据进入模型之前进行一些预处理,例如数据中心化(仅减均值),数据标准化(减均值,再除以标准差),随机裁剪,旋转一定角度,镜像等一系列操作。PyTorch有一系列数据增强方法供大家使用,下面将介绍这些方法。

在PyTorch中,这些数据增强方法放在了transforms.py文件中。这些数据处理可以满足我们大部分的需求,通过熟悉transforms.py,以及1.4节中的内容,我们也可以自定义数据处理函数,实现自己的数据增强。

在本小节,从宏观地介绍transform的使用,在下一小节,将会详细介绍transform的所有操作。

transform的使用

请查看/Code/main_trainingmain.py中代码:

normMean = [0.4948052, 0.48568845, 0.44682974]normStd = [0.24580306, 0.24236229, 0.2603115]normTransform = transforms.Normalize(normMean, normStd)trainTransform = transforms.Compose([transforms.Resize(32),transforms.RandomCrop(32, padding=4),transforms.ToTensor(),normTransform])validTransform = transforms.Compose([transforms.ToTensor(),normTransform])

前三行设置均值,标准差,以及数据标准化:transforms.Normalize()函数,这里是以通道为单位进行计算均值,标准差。然后用transforms.Compose将所需要进行的处理给compose起来,并且需要注意顺序!

在训练时,依次对图片进行以下操作:

1.随机裁剪2.Totensor3.数据标准化(减均值,除以标准差)

1. 随机裁剪第一个处理是随机裁剪,在裁剪之前先对图片的上下左右均填充上4个pixel,值为0,即变成一个40*40的数据,然后再随机进行3232的裁剪。例如下图,是经过transforms.RandomCrop(32, padding=4),之后的图片,其中红色框是原始图片数据,31列是填充的0,28-31行也是填充的0.

2. Totensor第二个处理是 transforms.ToTensor() 在这里会对数据进行transpose,原来是hwc,会经过img = img.transpose(0, 1).transpose(0, 2).contiguous(),变成chw再除以255,使得像素值归一化至[0-1]之间,来看看Red通道。

来看看27行,30列 原来是8的, 经过ToTensor之后变成:8/255= 0.03137255

3. 数据标准化(减均值,除以标准差)第三个处理是对图像进行标准化,通过标准化之后,再来看看Red通道的数据:

至此,数据预处理完毕,最后转换成Variable类型,就是输入网络模型的数据了。

细心的朋友可能会发现,在进行Normalize时,需要设置均值和方差,在这里直接给出了,但在实际应用中是要去训练集中计算的,天下可没有免费的午餐。

这里给出计算训练集的均值和方差的脚本:

https://github.com/tensor-yu/PyTorch_Tutorial/blob/master/Code/1_data_prepare/1_5_compute_mean.py

*延伸阅读

点击左下角“阅读原文”,即可申请加入极市目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群,更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流,一起来让思想之光照的更远吧~

觉得有用麻烦给个在看啦~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值