Spark 多文件输出

@羲凡——只为了更好的活着

Spark 多文件输出

Q：业务中有要求输出的每个文件数量的条数不超过n条
A：

第一步：写一个MultipleTextOutputFormat类

import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat
class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat{
  //根据业务需求自行重写generateLeafFileName方法
  override def generateLeafFileName(name: String): String = name+".csv"
}

第二步：用rdd的 saveAsHadoopFile 算子输出到文件中

val n = arg(0) // 每个文件的限制条数
val ouput = args(1) // 输出的文件目录
val rddres = sc.textFile(".....") // 需要输出的rdd
val partition = (1.0*(rddres.count())/n).ceil.toInt // 输出的分区数
rddres.partitionBy(new HashPartitioner(partition))
        .saveAsHadoopFile(output,classOf[String], classOf[String],
        classOf[RDDMultipleTextOutputFormat])

注意事项：
1.saveAsHadoopFile 算子只在rdd中，如果是dataframe可以先将其转化成rdd后操作
2.rdd必须是map类型的格式，例如：RDD[(Long,String)]、RDD[(String,String)] 等

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流