parquet压缩格式参数设置以及简单操作

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")
//        conf.set("spark.sql.parquet.compression.codec","uncompressed")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)
//        val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")
//        DF.repartition(1)
//        DF.write.parquet("F:/03.hadoop/data/a")
        val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")
        DF.show()
        sc.stop()
    }
}