【笔记】pytorch 中的广播：tensor对tensor、array对array、array对list，这三种不会报错，可以正常进行广播运算

最新推荐文章于 2024-06-13 14:02:58 发布
最新推荐文章于 2024-06-13 14:02:58 发布
阅读量592 收藏
点赞数
分类专栏： 小菜鸡加油
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nyist_yangguang/article/details/118517417
版权
本文介绍了如何使用PyTorch对图像数据进行预处理，包括读取文件、转换为Tensor、计算并应用均值和标准差。通过mydataset类演示了如何从目录中加载图像，调整像素值，归一化，并获取每批次数据的统计特性。
摘要由CSDN通过智能技术生成

tensor 对 tensor：OK

# std，mean求取程序
from torch.utils.data import Dataset,DataLoader
import torch
import os
from PIL import Image
import numpy as np


# target1=torch.tensor([])
# target2=torch.tensor([])
# target3=torch.tensor([])
#
# mean=torch.tensor([])
# i=0


class mydataset(Dataset):
    def __init__(self,path):
        self.path=path
        self.dataset=os.listdir(self.path)
        self.mean=[0.4876, 0.4542, 0.4166]
        self.mean=np.array(self.mean)
        self.mean=torch.tensor(self.mean)
        self.std=[0.2624, 0.2558, 0.2580]
        self.std=np.array(self.std)
        self.std=torch.tensor(self.std)

        # self.dataset=sorted(self.dataset,key = lambda x: int(x[2:-5]))
        # self.dataset.sort(key=lambda x: int(x.split('0.')[1].split('.jpeg')[0]))  #  IndexError: list index out of range
        # self.dataset.sort(key=lambda x: int(x.split(".")[1]))  # ['0.1.jpeg', '1.1.jpeg', '0.2.jpeg', '1.2.jpeg', '0.3.jpeg',

        # print(self.dataset[0].split('.')[:])   # ['0', '1', 'jpeg']
        # print(type(self.dataset[0].split('.')[0]))  # <class 'str'>
        # input()
        # print(self.dataset)
        # input()
    def __len__(self):
        return len(self.dataset)
    def __getitem__(self,index):

        name=self.dataset[index]
        data=Image.open(os.path.join(self.path,name))
        # print(data[0].shape())  #   print(data[0])   TypeError: 'JpegImageFile' object is not subscriptable

        # img 不转化为数组，保持<class 'PIL.JpegImagePlugin.JpegImageFile'> 将会报错
        data = np.array(data)/255
        data = torch.tensor(data)
        print(data.shape,type(data),type(self.mean),self.mean.shape)

        data = (data - self.mean) / self.std
        print("广播 OK")
        input()
        print(data)
        #print(data.shape())  #'tuple' object is not callable   tuple()本身是内置函数，被重新定义了变量后，导致原函数失效。
        # print(data.shape) # (100, 100, 3)
        data=torch.tensor(data,dtype=torch.float32).permute(2,1,0)

        # print(data.shape,data.dtype)  # torch.Size([3, 100, 100]) torch.float32
        # data=(data-self.mean)/self.std
        # img = np.array(data) / 255   #  TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.JpegImagePlugin.JpegImageFile'>
        # # 去均值
        # img = (img - self.mean) / self.std

        # 换轴 H W C 转换为 C H W ，这里需要注意下，其实我们可以不这么处理，在前面设置图片大小的时候设置为3 * 100 * 100 的就可以。
        # data = torch.tensor(img, dtype=torch.float32).permute(2, 0, 1)

        # print(data.size())
        # input()
        name_list=name.split(".")
        # print(name_list)
        # str->int
        target=int(name_list[0])
        target=torch.tensor(target)


        return data,target


import torch.tensor as tensor
if __name__=="__main__":
    a=mydataset(r"./cat_dog/img")

    data_loader = DataLoader(dataset=a, batch_size=12000, shuffle=False)
    data=next(iter(data_loader))[0]
    mean = torch.mean(data, dim=(0, 2, 3))
    std = torch.std(data, dim=(0, 2, 3))
    print(mean,std)
    # TypeError: __getitem__() missing 1 required positional argument: 'index'
    # a.__getitem__()

    # data_loader=DataLoader(dataset=a,batch_size=12000,shuffle=False)
    # for i,j in data_loader:
    #     mean=torch.mean(i,dim=(0,2,3))
    #     std=torch.std(i,dim(0,2,3))
    #     print(mean,std)




torch.Size([100, 100, 3]) <class 'torch.Tensor'> <class 'torch.Tensor'> torch.Size([3])
广播 OK

array 对 tensor：NO

array 对 array：OK


# std，mean求取程序
from torch.utils.data import Dataset,DataLoader
import torch
import os
from PIL import Image
import numpy as np


# target1=torch.tensor([])
# target2=torch.tensor([])
# target3=torch.tensor([])
#
# mean=torch.tensor([])
# i=0


class mydataset(Dataset):
    def __init__(self,path):
        self.path=path
        self.dataset=os.listdir(self.path)
        self.mean=[0.4876, 0.4542, 0.4166]
        self.mean=np.array(self.mean)
        # self.mean=torch.tensor(self.mean)
        self.std=[0.2624, 0.2558, 0.2580]
        self.std=np.array(self.std)
        # self.std=torch.tensor(self.std)

        # self.dataset=sorted(self.dataset,key = lambda x: int(x[2:-5]))
        # self.dataset.sort(key=lambda x: int(x.split('0.')[1].split('.jpeg')[0]))  #  IndexError: list index out of range
        # self.dataset.sort(key=lambda x: int(x.split(".")[1]))  # ['0.1.jpeg', '1.1.jpeg', '0.2.jpeg', '1.2.jpeg', '0.3.jpeg',

        # print(self.dataset[0].split('.')[:])   # ['0', '1', 'jpeg']
        # print(type(self.dataset[0].split('.')[0]))  # <class 'str'>
        # input()
        # print(self.dataset)
        # input()
    def __len__(self):
        return len(self.dataset)
    def __getitem__(self,index):

        name=self.dataset[index]
        data=Image.open(os.path.join(self.path,name))
        # print(data[0].shape())  #   print(data[0])   TypeError: 'JpegImageFile' object is not subscriptable

        # img 不转化为数组，保持<class 'PIL.JpegImagePlugin.JpegImageFile'> 将会报错
        data = np.array(data)/255
        # data = torch.tensor(data)
        print(data.shape,type(data),type(self.mean),self.mean.shape)

        data = (data - self.mean) / self.std
        print("广播 OK")
        input()
        print(data)
        #print(data.shape())  #'tuple' object is not callable   tuple()本身是内置函数，被重新定义了变量后，导致原函数失效。
        # print(data.shape) # (100, 100, 3)
        data=torch.tensor(data,dtype=torch.float32).permute(2,1,0)

        # print(data.shape,data.dtype)  # torch.Size([3, 100, 100]) torch.float32
        # data=(data-self.mean)/self.std
        # img = np.array(data) / 255   #  TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.JpegImagePlugin.JpegImageFile'>
        # # 去均值
        # img = (img - self.mean) / self.std

        # 换轴 H W C 转换为 C H W ，这里需要注意下，其实我们可以不这么处理，在前面设置图片大小的时候设置为3 * 100 * 100 的就可以。
        # data = torch.tensor(img, dtype=torch.float32).permute(2, 0, 1)

        # print(data.size())
        # input()
        name_list=name.split(".")
        # print(name_list)
        # str->int
        target=int(name_list[0])
        target=torch.tensor(target)


        return data,target


import torch.tensor as tensor
if __name__=="__main__":
    a=mydataset(r"./cat_dog/img")

    data_loader = DataLoader(dataset=a, batch_size=12000, shuffle=False)
    data=next(iter(data_loader))[0]
    mean = torch.mean(data, dim=(0, 2, 3))
    std = torch.std(data, dim=(0, 2, 3))
    print(mean,std)
    # TypeError: __getitem__() missing 1 required positional argument: 'index'
    # a.__getitem__()

    # data_loader=DataLoader(dataset=a,batch_size=12000,shuffle=False)
    # for i,j in data_loader:
    #     mean=torch.mean(i,dim=(0,2,3))
    #     std=torch.std(i,dim(0,2,3))
    #     print(mean,std)







(100, 100, 3) <class 'numpy.ndarray'> <class 'numpy.ndarray'> (3,)
广播 OK

list 对 array：OK

# std，mean求取程序
from torch.utils.data import Dataset,DataLoader
import torch
import os
from PIL import Image
import numpy as np


# target1=torch.tensor([])
# target2=torch.tensor([])
# target3=torch.tensor([])
#
# mean=torch.tensor([])
# i=0


class mydataset(Dataset):
    def __init__(self,path):
        self.path=path
        self.dataset=os.listdir(self.path)
        self.mean=[0.4876, 0.4542, 0.4166]
        # self.mean=np.array(self.mean)
        # self.mean=torch.tensor(self.mean)
        self.std=[0.2624, 0.2558, 0.2580]
        # self.std=np.array(self.std)
        # self.std=torch.tensor(self.std)

        # self.dataset=sorted(self.dataset,key = lambda x: int(x[2:-5]))
        # self.dataset.sort(key=lambda x: int(x.split('0.')[1].split('.jpeg')[0]))  #  IndexError: list index out of range
        # self.dataset.sort(key=lambda x: int(x.split(".")[1]))  # ['0.1.jpeg', '1.1.jpeg', '0.2.jpeg', '1.2.jpeg', '0.3.jpeg',

        # print(self.dataset[0].split('.')[:])   # ['0', '1', 'jpeg']
        # print(type(self.dataset[0].split('.')[0]))  # <class 'str'>
        # input()
        # print(self.dataset)
        # input()
    def __len__(self):
        return len(self.dataset)
    def __getitem__(self,index):

        name=self.dataset[index]
        data=Image.open(os.path.join(self.path,name))
        # print(data[0].shape())  #   print(data[0])   TypeError: 'JpegImageFile' object is not subscriptable

        # img 不转化为数组，保持<class 'PIL.JpegImagePlugin.JpegImageFile'> 将会报错
        data = np.array(data)/255
        # data = torch.tensor(data)
        # print(data.shape,type(data),type(self.mean),self.mean.shape)

        data = (data - self.mean) / self.std
        print("广播 OK")
        input()
        print(data)
        #print(data.shape())  #'tuple' object is not callable   tuple()本身是内置函数，被重新定义了变量后，导致原函数失效。
        # print(data.shape) # (100, 100, 3)
        data=torch.tensor(data,dtype=torch.float32).permute(2,1,0)

        # print(data.shape,data.dtype)  # torch.Size([3, 100, 100]) torch.float32
        # data=(data-self.mean)/self.std
        # img = np.array(data) / 255   #  TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.JpegImagePlugin.JpegImageFile'>
        # # 去均值
        # img = (img - self.mean) / self.std

        # 换轴 H W C 转换为 C H W ，这里需要注意下，其实我们可以不这么处理，在前面设置图片大小的时候设置为3 * 100 * 100 的就可以。
        # data = torch.tensor(img, dtype=torch.float32).permute(2, 0, 1)

        # print(data.size())
        # input()
        name_list=name.split(".")
        # print(name_list)
        # str->int
        target=int(name_list[0])
        target=torch.tensor(target)


        return data,target


import torch.tensor as tensor
if __name__=="__main__":
    a=mydataset(r"./cat_dog/img")

    data_loader = DataLoader(dataset=a, batch_size=12000, shuffle=False)
    data=next(iter(data_loader))[0]
    mean = torch.mean(data, dim=(0, 2, 3))
    std = torch.std(data, dim=(0, 2, 3))
    print(mean,std)
    # TypeError: __getitem__() missing 1 required positional argument: 'index'
    # a.__getitem__()

    # data_loader=DataLoader(dataset=a,batch_size=12000,shuffle=False)
    # for i,j in data_loader:
    #     mean=torch.mean(i,dim=(0,2,3))
    #     std=torch.std(i,dim(0,2,3))
    #     print(mean,std)







广播 OK

但是加上339行会报错：

tensor 对 list：NO

不可以广播：

程序猿的探索之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
亲测解决default_collate: batch must contain tensors, numpy arrays, numbers, found ＜class ‘NoneType‘＞
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
03-13 750
这个问题是由于dataloader读取的数据中有None类型的变量，而default_collate不能处理这种变量。解决方法是检查读取的变量，如果None可以设成0不使用。
pytorch Tensor的广播机制
qq_27278957的博客
09-02 3417
在pytorch的张量计算中，“广播”指的是当满足一定条件时，较小的张量能够自动扩张成合适尺寸的大张量，使得能够进行计算。 References： 电子文献：https://pytorch.org/docs/stable/notes/broadcasting.html 条件 当一对张量满足下面的条件时，它们才是可以被“广播”的。 1、每个张量至少有一个维度。 2、迭代维度尺寸时，从尾部（也就是从后往前）开始，依次每个维度的尺寸必须满足以下之一： 相等。 其中一个张量的维度尺寸为1。 其中一
【笔记】scatter_函数：用法如 torch.zeros(target.size(0), 2).scatter_(1,target,1).to(self.device)
nyist_yangguang的博客
07-06 3105
程序1：error 要知道错误的原因 RuntimeError: Expected index [1, 100] to be smaller than self [100, 2] apart from dimension 1 and to be smaller size than src [100, 2] 程序2： true import torch from PIL import Image import numpy as np import torch.nn as nn ......
【Python】已解决报错 TypeError: Missing 1 Required Positional Argument
最新发布
06-13 1万+
【Python】已解决报错 TypeError: Missing 1 Required Positional Argument
Pytorch——报错解决：TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, found
Irving.Gao的博客
10-31 1万+
主要原因是由于获取到batch中输入有None，反推代码，说明你的。因此，解决方法就是不要让返回值有None即可。函数返回值为None，因此出现如下报错。
pillow
hanhuoqwer
05-11 683
pillow简介Image类属性打开、旋转、显示、保存图片图像处理更改图像模式及尺寸像素点和通道操作 简介 Pillow官方文档 PIL库可以完成图像归档和图像处理两方面功能需求： （1）图像归档：对图像进行批处理、生成图像预览、图像格式转换等； （2）图像处理：图像基本处理、像素处理、颜色处理等。 Image类 在PIL中，任何一个图像文件都可以用Image对象来表示。 属性 PIL.Image.filename 源图片文件的文件名或路径 Type: string PIL.Image.format 源图
pytorch tensor查找0_PyTorch学习笔记(二)：Tensor操作
weixin_30495789的博客
01-17 1230
什么是TensorTensor，又名张量，最早接触这个词是来自于TensorFlow，这个概念也被广泛的应用于不同的深度学习框架。如果一个物理量，在物体的某个位置上只是一个单值，那么就是普通的标量，比如密度。如果它在同一个位置、从不同的方向上看，有不同的值，而且这个数恰好可以用矩阵乘观察方向来算出来，就是张量。几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量...
torch tensor去掉1维_【ML实践笔记】06-DeepLizard教程10-13：PyTorch中的tensor操作
weixin_39859055的博客
11-21 1492
0 前言这个系列主要是写给自己看的，奉行拿来主义，对于学习过程中使用到的优质的学习资源和教程会直接把链接贴进来（省的自己看完忘了），也会附上我的一些学习笔记，同时也记录一下我在学习过程中踩过的各种坑（血泪史），希望能帮助到和我一样刚刚入门的人吧。这个系列称为“实践笔记”，是因为其主要面向编程实践而非理论学习。因为我的基础还是比较差，很多东西只是自己的理解，不一定对，供参考。教程介绍和目录见此文：季...
Deep Learning with Pytorch 中文简明笔记 第三章 It starts with a tensor
Pengwill's Blog
07-22 525
Deep Learning with Pytorch 中文简明笔记 第三章 Tensor Pytorch作为深度学习框架的后起之秀，凭借其简单的API和简洁的文档，收到了越来越多人的关注和喜爱。本文主要总结了 Deep Learning with Pytorch 一书第三章[It starts with a tensor]的主要内容，并加以简单明了的解释，作为自己的学习记录，也供大家学习和参考。 文章目录Deep Learning with Pytorch 中文简明笔记 第三章 Tensor1. 主要内容2
PyTorch学习笔记（一）Tensor基本操作
longrootchen的博客
04-12 1702
PyTorch学习笔记，记录了一些常用创建张量和变换张量的方法。
系统学习Pytorch笔记一：Pytorch的数据载体张量与线性回归
Miracle8070
04-13 8208
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
cv2读入的BGR图像转换成torch.tensor格式，torch.tensor格式的图像转换成ndarray格式并保存
qq_48355075的博客
07-25 1786
cv2 reads one image:ndarray 2 tensor. Also, transpose one image tensor to ndarray and save
自定义数据集DataLoader迭代载入时报错“＜class ‘NoneType‘＞”
Pak00000的博客
11-23 3314
Pytorch中DataLoader自定义数据集载入时报错“TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found 《class 'NoneType'》”问题描述产生原因解决办法程序展示总结 问题描述 创建自己的数据集并用DataLoader载入时报出如下错误： 产生原因 该问题表明在用迭代器循环载入数据及标签时，存在某一数据类型为’None’ 解决办法 提前剔
Pytorch的Dataloader报错：TypeError: batch must contain tensors, numbers, dicts or lists
GZKPeng的博客
07-17 1万+
具体报错： TypeError: batch must contain tensors, numbers, dicts or lists; found dataloader=torch.utils.data.DataLoader(dataset,batch_size=1,shuffle=True) 表面上看这个代码没有问题，实际上问题出在了dataloader机制的要求上，dataload...
pytorch读取自制数据集出现过的问题
qq_35407318的博客
07-13 1747
笔记问题1问题描述：解决方式问题2问题描述：解决方式 问题1 问题描述： TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.Image.Image'> 解决方式 数据格式不对， 把image转成tensor，参数transform进行如下设置就可以了：transform=transform.ToTensor()。注意检测
Spark RDD详解
weixin_30617797的博客
01-05 223
0.spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组...
如何处理AttributeError: JpegImageFile object has no attribute shape
qq_34890702的博客
06-12 8910
AttributeError: ‘JpegImageFile’ object has no attribute ‘shape’ 程序中由于是利用opencv 读取图片格式和PIL中Image 读取的图片格式差异问题导致的，解决方法就是在save操作之前，将图片的格式转化一下 ，将opencv 读取的图片转化成PIL Image 的格式。 转换方法： opencv 转换成 PIL.Image: Img= Image.fromarray(cv.cvtColor(Img,cv2.COLOR_BGR2RGB))
python 'PngImageFile' object has no attribute 'shape'
热门推荐
博客
05-02 2万+
我在生成词云是导入图片的时候冒出来这么个问题，在网上搜了一下，没有看到解决方法（也许是我的搜索姿势不对）部分代码如xia，img = Image.open(path) wc = WordCloud(     background_color='white', width=1000, height=300, mask=img, font_path=font, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿的探索之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值