![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Arrow
文章平均质量分 58
鸿乃江边鸟
Apache Spark Contributor
专注于技术的dotaer
展开
-
Apache Arrow优点
优点 采用连续的内存布局,在单机计算的时候,增加操作系统友好性,增加了缓存命中率以及 采用列式存储,在单机计算的时候,可以利用SMID向量化处理,并且增加了查询效率(一般查询的时候只是查询几列) 采用列式存储,IPC进程间通信传输的时候,提高了压缩率 采用零拷贝,IPC进程间通信传输的时候,减少了数据传输的开销 跨语言的标准化规范,消除了各个格式之间转换所需要的序列化和反序列化的时间 以上优点实现了高速的数据传输和处理能力,使得它在大数据场景下有很好的优化价值 参考 Apache Arrow: 数据工原创 2023-11-10 16:31:16 · 258 阅读 · 0 评论 -
Spark 3.4.x Server Client模式下的数据传输实现
中,我们提到Spark 3.4.x中是Client和Server之间的数据传输是采用。的,那具体是怎么实现的呢?这里的逻辑就是转换为。原创 2023-06-27 23:17:43 · 356 阅读 · 0 评论