Spark RDD(弹性分布式数据集)
创建RDD
读取文本创建
lines=sc.textFile("READEME.md")
在驱动器程序中对一个集合进行并行化创建
lines = sc.parallelize(["hellp world","hi"])
RDD操作
转化操作:
例如:RDD数据集是{1,2,3,3}
行动操作:
例如:RDD数据集是{1,2,3,3}
Spark RDD(弹性分布式数据集)
创建RDD
读取文本创建
lines=sc.textFile("READEME.md")
在驱动器程序中对一个集合进行并行化创建
lines = sc.parallelize(["hellp world","hi"])
RDD操作
转化操作:
例如:RDD数据集是{1,2,3,3}
行动操作:
例如:RDD数据集是{1,2,3,3}
转载于:https://my.oschina.net/ilovetao/blog/873924