1、并行化处理数组
val data = Array(1, 2,3, 4, 5, 6, 7, 8, 9)
val distData = sc.parallelize(data, 3) //3为要开启的线程数
val data=Array(Tuple2("xiaoming",20),Tuple2("xiaoli",23))
val distData = sc.parallelize(data, 3) //3为要开启的线程数
2、外部数据源创建
val distFile2 =sc.textFile("hdfs://192.168.0.2:9000/input/data.txt") //HDFS文件
val distFile3 =sc.textFile("file:/input/data.txt") //本地指定目录下文件
textFile("file:/input/001.txt,file:/input/002.txt ") //读取多个文件创建一个RDD
textFile("file:/input") //读取目录
textFile("file:/input /*.txt") //读取input下所有TXT文件