将图片转化为pickle或者mat数据格式

这篇博客介绍如何将图片数据转化为pickle或mat格式,以便于小样本实验中的数据读取和避免重复加载。作者参考了tensorflow和Udacity的视频教程,详细讲述了在处理大量图像时遇到pickle的SystemError问题,以及解决方案——转而使用mat格式。文中提供了存储和读取mat格式数据的Python代码示例,并展示了读取后数据的验证过程。
摘要由CSDN通过智能技术生成

为了做小样本的实验,所以需要先将图片数据转化为pickle或者mat格式的数据,便于以后的读取,避免每次训练的时候,都要重新挨个图片读取在给标注。

这里我是看的tensorflow和Udacity合作的视频教程,所以学习到了将数据做乘pickle格式的方法

            try:
                with open(set_filename, 'wb') as f:
                    pickle.dump(dataset, f, pickle.HIGHEST_PROTOCOL)
            except Exception as e:
                print("无法制作 :", set_filename, e)

其主要步骤就是将你想要存储的数据存到“dataset"变量中,然后利用pickle.dump函数进行存储,一开始我使用480张512×512×3的图像存储的时候没有问题,但是,当数据量增加,便出现啦如下错误SystemError: error return without exception set

查找资料之后,根据https://blog.csdn.net/lj695242104/article/details/43062059

据说是pickl的一个bug,所以我换了一个路子,把数据存储为mat格式,经学习,发现python可以直接读写mat个数数据,而不需要使用matlab(省了不少事情

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值