前言
在连续实战完paddlepaddle线性回归例子和波士顿房价预测后,对这个框架基本构成有了比较清楚的了解。但是,这两个例子的区别之一就在于后者使用的是框架自带的数据,传入数据时使用了内部一种数据类型转化器DataFeeder()。下面,我将带着大家一起去探究这个DataFeeder()。
相关代码
#每次缓存500个数据
BUF_SIZE=500
#每20个组成一个训练批次
BATCH_SIZE=20
train_reader = paddle.batch(
paddle.reader.shuffle(paddle.dataset.uci_housing.train(),buf_size=BUF_SIZE),
batch_size=BATCH_SIZE
)
feeder = fluid.DataFeeder(place=place,feed_list=[x,y])
for batch_id,data in enumerate(train_reader()):
exe.run(program,feed=feeder.feed(data),fetch_list)
上述代码是我从波士顿房屋预测例子中提取的,大家可以参考下面的官方例子。
波士顿房屋预测实例官方例子
这里数据整个流程是:
获取数据(实际是一个迭代器)->datafeeder进行数据格式转化->传入需要转化的数据(feeder.feed(data))
DataFeeder()官方API解释和探究
DataFeeder 负责将reader(读取器)返回的数据转成一种特殊的数据结构,使它们可以输入到 Executor 和 ParallelExecutor 中。 reader通常返回一个minibatch条目列表。在列表中每一条目都是一个样本(sample),它是由具有一至多个特征的列表或元组组成的。
我知道大家一看见这几行文字就头大,我也是。我从源代码中找到了官方给的一个例子:
import numpy as np
import paddle.fluid as fluid
def reader(limit=5):
for i in range(1, limit + 1):
yield np.ones([6]).astype('float32') * i , np.ones(<