spark常用RDD算子 - parallelize，makeRDD，textFile

parallelize

调用SparkContext 或 JavaSparkContext的 parallelize()，将一个存在的集合，变成一个RDD或JavaRDD
代码示例:
参数1:集合
参数2:分区的个数
JavaRDD<Integer> parallelize = javaSparkContext.parallelize(Arrays.asList(1, 2, 3, 4, 5,6,7,8,9),3);

 

makeRDD

只有scala版本的才有makeRDD  ，如 sc.makeRDD(List("shenzhen", "is a beautiful city"))

 

textFile

调用SparkContext.textFile()方法，从外部存储中读取数据来创建 RDD  ，注意：可以读某个目录，或文件
示例1
JavaRDD<String> stringJavaRDD_1 = javaSparkContext.textFile ("E:\\wenjian\\txtFile", 3);

示例2,正则表达式的方式，读取多个文件
JavaRDD<String> stringJavaRDD_3 = javaSparkContext.textFile ("file:///E:/wenjian/txtFile2/*.txt", 3);

示例3,读取多个目录，用,号分隔
String path2="file:///E:/wenjian/txtFile,file:///E:/wenjian/txtFile2"; 
JavaRDD<String> stringJavaRDD = javaSparkContext.textFile(path2);