parallelize
调用SparkContext 或 JavaSparkContext的 parallelize(),将一个存在的集合,变成一个RDD或JavaRDD
代码示例:
参数1:集合
参数2:分区的个数
JavaRDD<Integer> parallelize = javaSparkContext.parallelize(Arrays.asList(1, 2, 3, 4, 5,6,7,8,9),3);
makeRDD
只有scala版本的才有makeRDD ,如 sc.makeRDD(List("shenzhen", "is a beautiful city"))
textFile
调用SparkContext.textFile()方法,从外部存储中读取数据来创建 RDD ,注意:可以读某个目录,或文件
示例1
JavaRDD<String> stringJavaRDD_1 = javaSparkContext.textFile ("E:\\wenjian\\txtFile", 3);
示例2,正则表达式的方式,读取多个文件
JavaRDD<String> stringJavaRDD_3 = javaSparkContext.textFile ("file:///E:/wenjian/txtFile2/*.txt", 3);
示例3,读取多个目录,用,号分隔
String path2="file:///E:/wenjian/txtFile,file:///E:/wenjian/txtFile2";
JavaRDD<String> stringJavaRDD = javaSparkContext.textFile(path2);