Spark输出压缩文件

最新推荐文章于 2023-04-05 13:06:59 发布

weixin_33868027

最新推荐文章于 2023-04-05 13:06:59 发布

阅读量802

点赞数 1

文章标签：大数据 python java

原文链接：https://my.oschina.net/yulongblog/blog/873583

版权

2019独角兽企业重金招聘Python工程师标准>>>

Spark中保存文件为各种压缩类型。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

import org.apache.hadoop.io.compress.GzipCodec
import org.apache.hadoop.io.compress.SnappyCodec
import org.apache.hadoop.io.compress.BZip2Codec

/**
 * @author training
 */
object Test {
  
  def main(args: Array[String]){
    val conf = new SparkConf().setAppName("test").setMaster("local")
    val sc = new SparkContext(conf)
    
    val rdd = sc.textFile("file:/tmp/sparktest/123.txt", 1)

    rdd.saveAsTextFile("file:/tmp/sparktest/123.gz", classOf[GzipCodec])
    rdd.saveAsTextFile("file:/tmp/sparktest/123.snappy", classOf[SnappyCodec])
    rdd.saveAsTextFile("file:/tmp/sparktest/123.bz2", classOf[BZip2Codec])
    
  }
  
}

转载于:https://my.oschina.net/yulongblog/blog/873583