2021-06-09
RDD编程初级实践
1、需求描述
本次实验所需要用到的是RDD编程、pyspark运行环境以及spark独立应用程序等相关知识。RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。现在开发的过程中都是面向对象的思想,
原创
2021-06-09 23:05:58 ·
636 阅读 ·
2 评论