Paddle中的QueueDataset和InMemoryDataset

QueueDataset和InMemoryDataset是两种数据处理方式，前者是一边读取数据一边训练；后者是先将数据读取到内存中，然后再开始训练。

除了读取数据上的区别，在数据存储结构上也不太一样，QueueDataset使用了MultiSlotType结构，InMemoryDataset使用的是Record结构；这两种结构都在同一个文件中。

MultiSlotType和Record原理都差不多，搞了两个数据容器，一个用来存储整型数据，一个用来存储浮点型数据，拿Record来说，整型数据会存储到uint64_feasigns_的vector中，浮点型数据则存储在float_feasigns_的vector中，结构部分截图如下：

 

值得一提的是，paddle在特征使用方面也比较方便，按照slot id即可拿到自己所需的feasign，举个例子 ，假设存在如下数据格式

0.1 0.2 0.3 1 2 3 4 5

依旧以Record来说，前三个float数据会被依次存到float_feasign_中，后五个整型数据则被放到uint64_feasigns_中，每个特征都会有对应的slot id，在底层你可以根据slot id对相应的特征进行一些操作。