如何将数据封装到RDD集合中,主要有两种方式:并行化本地集合(Driver Program中)和引用加载外部存储系统(如HDFS、Hive、HBase、Kafka、Elasticsearch等)数据集。
官方文档:resilient-distributed-datasets-rdds
1. RDD的创建三种方式
如果需要创建我们的RDD,无非三种方式
- 第一种方式创建RDD:由一个已经存在的集合创建,从集合中读取数据转化为RDD
val rdd1 = sc.parall
如何将数据封装到RDD集合中,主要有两种方式:并行化本地集合(Driver Program中)和引用加载外部存储系统(如HDFS、Hive、HBase、Kafka、Elasticsearch等)数据集。
官方文档:resilient-distributed-datasets-rdds
如果需要创建我们的RDD,无非三种方式
val rdd1 = sc.parall