mxnet 数据接口mx.io.ImageRecordIter中的缓存

首先。问题描述：

mx.io.ImageRecordIte获取数据的接口是next(）。

假如用一个循环不断将获取的数据压入一个list容器中，那么你会发现一个奇怪的现象。在几个步骤之后，list中的内容从前向后会依次开始改变。

代码表示：
 

for batch in range(100):
    data_train = next(train_iter)       
    bag_data.append(data_train)

也就是这个bag_data的【0】中的元素会首先变化。而且会产生一个有规律的变化。可以打印bag_data[0].label[0][0]看规律。

以下是我的打印结果。

原因：

因为next()返回的是一个地址。压入的时候也是压入的是地址，相当于我们使用的是浅复制。

但是，这个地址是怎么产生的。在研究了这个规律和查看了mxnet的api之后，我们得出了一个结论。先说结论，之后再谈发现过程。

结论：

mxnet利用的是一个循环buffer的形式预缓存多个batch的内容，然后循环刷新。所以同一个地址的内容将会不断的有规律的刷新。

发现过程：

第一次：不出错的情况：list的内容，顺序存储。主要看lable的值。（左图）

第n次：开始第一次刷新，中间图。

第n+1次：接下刷新第二个buffer。右图。

 

如图中所示：

红色是改变的内容，蓝色是不变的内容。

循环buffer的示意图如下：

在api中：

有个参数是prefetch_batch，表示预先读取几个buffer的内容。

在打印的内容中，我们也发现，改变的label的间隔确实与prefetch_batch有关。

最后：

如果要存连续的next内容，需要用到深复制。或者就自己写接口。（但是没有mxnet的效率高）