【数据仓库】Spark算子

第一关：转换算子之map和distinct算子

输出每个元素及其长度并去重。

	//第一步：通过获取rdd中每个元素的长度创建新的rdd1
	val rdd1=rdd.map(x => x.length())
	//第二步：通过zip把rdd1和rdd组合创建rdd2
    val rdd2=rdd.zip(rdd1)
	//第三步：去重
	val rdd3=rdd2.distinct()
	//第四步：输出结果
	rdd3.foreach(println)

第2关：转换算子之flatMap和filter算子

本关任务：输出个数大于一的单词。

 	//第一步：对所给数据创建的rdd切割分词
	val wordCount=rdd.flatMap(line => line.split(",")).