最近一直在学习Spark的RDD编程,学习的过程中经常会踩到很多的坑。归根结底,其实是没有理解好RDD编程其中的原理。
学习的过程中值得注意的小细节(个人的一些偏门理解,帮助自己更好掌握)。
1.RDD中的其中一个元素中含有多个元素,类似一个列表在RDD中充当一个元素时,列表的相关的索引查询,切片操作同样适用。
#省略了前面的引用
array = ["Spark is fast","Hadoop is good"]
rdd1 = sc.parallelize(array)
rdd2 = rdd1.map(lambda x:x.split(" ") #将rdd1中的每个元素中的内容以空格分隔开,得到[['Spark','is','fast'],['Hadoop','is','good']]
rdd3 = rdd2.map(lambda x