spark常用命令
常见命令函数名功能实例parallelize makeRDDrangerdd创建sc.parallelize(Array(1,2,3,4))sc.parallelize(1 to 100)sc.makeRDD(List(1,2,3,4,5))sc.makeRDD(1 to 100)sc.range(1,100,3)getNumPartitions检查rdd分区数rdd.getNumPartitionsrdd.partitions.lengthtextFile文件
原创
2021-07-02 15:52:40 ·
817 阅读 ·
1 评论