Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记

Arrow format:

　　Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层，来加快大数据分析项目的运行速度。

　　现在大数据处理模型很多，用户在应用大数据分析时，除了将 Hadoop 等大数据平台作为一个存储和批处理平台之外，同样也得关注系统的扩展性和性能。过去开源社区已经发布了很多工具来完善大数据分析的生态系统，这些工具包含了数据分析的各个层面，例如列式存储格式（Parquet，ORC），内存计算模型（Drill，Spark，Impala 和 Storm）以及其强大的 API 接口。而 Arrow 则是最新加入的一员，它提供了一种跨平台应用的内存数据交换格式。

Arrow文件中结构说明

task02 数据集: 

ds 可以先访问 行, 再访问列; 也可以先访问列, 再访问行; 结果是一样的;

顺利生成, 古道西风瘦马, 小桥流水人家;