Python产生batch数据的操作

本文详述如何在Python中创建batch数据,适用于样本含有多个特征及标签的情况。利用numpy.array格式,通过索引和随机选择实现数据批次的生成。同时,文章提及了tensorflow.data.Dataset在构建batch数据集的应用。
摘要由CSDN通过智能技术生成

这篇文章主要介绍了Python产生batch数据的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

产生batch数据

输入data中每个样本可以有多个特征,和一个标签,最好都是numpy.array格式。

datas = [data1, data2, …, dataN ], labels = [label1, label2, …, labelN],

其中data[i] = [feature1, feature2,…featureM], 表示每个样本数据有M个特征。

输入我们方法的数据,all_data = [datas, labels] 。

代码实现

通过索引值来产生batch大小的数据,同时提供是否打乱顺序的选择,根据随机产生数据量范围类的索引值来打乱顺序。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

import numpy as np

def batch_generator(all_data , batch_size, shuffle=True):

 """

 :param all_data : all_data整个数据集,包含输入和输出标签

 :param batch_size: batch_size表示每个batch的大小

 :param shuffle: 是否打乱顺序

 :return:

 """

 # 输入all_datas的每一项必须是numpy数组,保证后面能按p所示取值

 all_data =

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值