这篇博客介绍了Spark中的核心概念——弹性分布式数据集（RDD），详细阐述了如何通过并行集合和外部数据集两种方式创建RDD。并行集合可以通过`parallelize`和`makeRDD`方法从现有集合创建，而外部数据集则支持从Hadoop兼容的存储源如HDFS、HBase、S3等读取。RDD的操作包括并行化操作和数据读取，强调了分区数在性能中的重要性，以及如何通过`textFile`等方法读取不同格式的文件。
弹性分布式数据集（RDD）
Spark围绕弹性分布式数据集（RDD）的概念展开，RDD是可并行操作的元素的容错集合。
创建RDD的方式有两种：
1.并行化驱动程序中的现有集合
2.引用外部存储系统（例如共享文件系统、HDFS、HBase、或Hadoop InputFormat的任何数据源）中的数据集
1.并行集合
有两种方法创建并行集合：parallelize、makeRDD
用scala语言创建
def main(args: Array[String]): Unit = {
val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster("local[*]"))
val data = Array(1,2,3,4,5)
//第一种方式创建RDD
val dataRDD: RDD[Int] = sc.parallelize(data)
//第二种方式创建RDD
最低0.47元/天 解锁文章
863
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
