首先将一行映射为整数值,从而创建一个新的数据集。reduce
在该数据集上调用以查找最大字数。
scala> textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
res4: Long = 15
我们可以轻松调用其他地方声明的函数。我们将使用Math.max()
函数使这段代码更容易理解:
scala> import java.lang.Math
import java.lang.Math
scala> textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))
res5: Int = 15
一种常见的数据流模式是MapReduce。Spark可以轻松实现MapReduce流程:
scala> val wordCounts = textFile.flatMap(line => line.split(" ")).groupByKey(identity).count()
wordCounts: org.apache.spark.sql.Dataset[(String, Long)] = [value: string, count(1): bigint]
在这里,调用flatMap
将行数据集转换为单词数据集,然后组合groupByKey
并count
计算文件中的单词计数作为(字符串,长整数)对的数据集。要在我们的shell中收集单词count,我们可以调用collect
:
scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)