pyspark里面的SparkContext大数据平台包的使用
RDD类型:
1. 并行集合(Parallelized Collections): 来自于分布式化的数据对象,比如用户自己键入的数据
2. 文件系统数据集: Hadoop Datasets 或文本文件,比如通过SparkContext.textFile()读取的数据,括号里面的参数是大数据文件读取的路径。这个路劲可以使用某一个文件目录下面的一部分文件,那么就需要通配符匹配这部分文件,如何匹配呢?看下面这个例子:
load_path_om = ''mdfs://cloudhdfs/new...
原创
2020-06-24 15:06:55 ·
877 阅读 ·
0 评论