在Linux启动spark-shell时,可以使用以下命令(两个线程):
$ spark-shell --master local[2]
使用sc.textFile(“path”)导入文件,然后可以使用以下命令查看分区数:
scala> rdd.toDebugString()
此时我从HDFS中导入了一个文件:
然后查看该 RDD --- accounts的分区数:
使用sc.textFile("path",num)命令可以手动设置分区数:
查看分区数:
这次使用HDFS中accounts文件夹下面的所有文件进行创建RDD:
我们有7个数据文件,也就创建了7个分区。
打印每个partition的第一行(每一个partition都是一个迭代器):
scala> accounts.foreachPartition(partition => println(partition.next))