yield 和 index_select开发数据批处理

import torch as tt
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random

index_select

随机生成2000行的样本

features = tt.from_numpy(np.random.normal(0,1,(2000, 2)))
features.shape

torch.Size([2000, 2])

获取随机数据下标

num_examples = len(features)#样本格式
indices = list(range(num_examples))#获取一个[0,1999]的列表，标识数据的下表
random.shuffle(indices)#将下表数据打乱
indices

[1069,
142,
901,
1852,
248,
1860,
785,
520,
1992,
738,
1344,
1251,
317,
419,
…]

获取批量数据

index_select，第一个参数0表示按行索引，1表示按列进行索引，第二个参数是一个tensor，就是索引的序号

batch_size = 222
for i in range(0, num_examples, batch_size):
    j = tt.LongTensor(indices[i:min(i + batch_size, num_examples)])#根据batch size，从下表数组中选取批量下表
    batch_size_datas = features.index_select(0,j)
    print('start index[{}], data size[{}]'.format(i, batch_size_datas.shape))

start index[0], data size[torch.Size([222, 2])]
start index[222], data size[torch.Size([222, 2])]
start index[444], data size[torch.Size([222, 2])]
start index[666], data size[torch.Size([222, 2])]
start index[888], data size[torch.Size([222, 2])]
start index[1110], data size[torch.Size([222, 2])]
start index[1332], data size[torch.Size([222, 2])]
start index[1554], data size[torch.Size([222, 2])]
start index[1776], data size[torch.Size([222, 2])]
start index[1998], data size[torch.Size([2, 2])]

yield

简单地讲，yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，调用 fab(5) 不会执行 fab 函数，而是返回一个 iterable 对象！在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield b 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield b 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。

也可以手动调用 fab(5) 的 next() 方法（因为 fab(5) 是一个 generator 对象，该对象具有 next() 方法），这样我们就可以更清楚地看到 fab 的执行流程：

不是用yield

def simple(max): 
    n  = 1 
    while n < max: 
        print(n)   
        n = n + 1
simple(5)

1
2
3
4

使用yield

def simple(max): 
    n  = 1 
    while n < max: 
        yield n   
        n = n + 1
for n in simple(5):
    print(n)

1
2
3
4

批量数据处理

结合index_select和yield的使用，我们可以开发pytorch中批量获取数据的函数

def data_iter(batch_size, features):
    num_examples = len(features)#2000
    indices = list(range(num_examples))#index
    random.shuffle(indices)#
    for i in range(0, num_examples, batch_size):
        j = tt.LongTensor(indices[i:min(i+batch_size,num_examples)])

        yield features.index_select(0,j)

for feature in data_iter(255,features):
    print(feature.shape)

torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([255, 2])
torch.Size([215, 2])