实例需求
统计每个月每个家庭成员给自己打电话的次数,并按月份输出到不同文件中
数据集
数据格式:编号 联系人 电话号码 日期
思路分析
map阶段:将 联系人 + 电话号码 + 日期中的月份 组合成的作为 key,value为1
reduce阶段:相同key做value相加操作,然后利用hadoop的MultipleTextOutputFormat
,实现按月份将不同月份的统计数据输出到不同的文件中
实践步骤
1.读取数据文件,生成RDD
val input = "/data/spark-example/phone/phone.txt"
val fileRDD = sc.textFile(input)
2.将 联系人 + 电话号码 + 日期中的月份 组合成的作为 key,value为1
val mapRDD = fileRDD.map(line => (line.split("\t")(1) + "\t" + line.split("\t")(3).split("-")(1) + "\t" + line.split("\t")(2), 1))
3.相同key做value相加操作
val reduceRDD = mapRDD.reduceByKey(_ + _)
4.自定义多文件输出格式类,继承MultipleTextOutputFormat
类,重写generateFileNameForKeyValue
方法
class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any]{
override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String = {
key.asInstanceOf[String].split("\t")(1) + ".txt"
}
}
5.输出统计结果
reduceRDD.saveAsHadoopFile("hdfs://oldsix1:9000/data/spark-example/phone/output/", classOf[String], classOf[String], classOf[RDDMultipleTextOutputFormat])
完整代码
1.RDDMultipleTextOutputFormat.scala
import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat
class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any]{
override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String = {
key.asInstanceOf[String].split("\t")(1) + ".txt"
}
}
2.PhoneCount.scala
import org.apache.spark.{SparkConf, SparkContext}
object PhoneCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("phone-count")
val sc = new SparkContext(conf)
val input = "/data/spark-example/phone/phone.txt"
val fileRDD = sc.textFile(input)
val mapRDD = fileRDD.map(line => (line.split("\t")(1) + "\t" + line.split("\t")(3).split("-")(1) + "\t" + line.split("\t")(2), 1))
val reduceRDD = mapRDD.reduceByKey(_ + _)
reduceRDD.saveAsHadoopFile("hdfs://oldsix1:9000/data/spark-example/phone/output/", classOf[String], classOf[String], classOf[RDDMultipleTextOutputFormat])
}
}