spark系列二：parquet数据源常用操作之使用编程方式加载数据

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。

列式存储和行式存储相比有哪些优势呢？
1、可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。
2、压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding和Delta Encoding）进一步节约存储空间。
3、只读取需要的列，支持向量运算，能够获取更好的扫描性能。

java版本：

package cn.spark.study.core;

import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;

public class parquettest1 {
 public static void main(String[] args) {
  SparkConf conf = new SparkConf()
    .setAppName("parquettest1");
    
  JavaSparkContext sc = new JavaSparkContext(conf);
  SQLContext sqlcontext = new SQLContext(sc);
  DataFrame df = sqlcontext.read().parquet("hdfs://master:9000/users.parquet");
  df.registerTempTable("users");
  DataFrame rsdf = sqlcontext.sql("select name from users");
  List<String> li = rsdf.javaRDD().map(new Function<Row,String>(){

     private static final long serialVersionUID = 1L;

     @Override
     public String call(Row row) throws Exception {
      
      return "name:" + row.getString(0);
     }
            
            }).collect();
  for(String ss:li)
   System.out.println(ss);
 }

}

scala版本：

package com.spark.study.core

import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object parquettest1 {
  def main(args:Array[String]){
    val conf = new SparkConf()
                  .setAppName("loadandsave")
                  .setMaster("local")
                
    val sc = new SparkContext(conf)
    val sqlcontext = new SQLContext(sc)
    val  df = sqlcontext.read.parquet("hdfs://master:9000/users.parquet")
    df.registerTempTable("users")
    val rsdf = sqlcontext.sql("select name from users")
    val finrdd = rsdf.rdd.map(row=>"name:" + row(0))
    finrdd.foreach(x=>println(x))
  }
}

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30541278/viewspace-2154748/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30541278/viewspace-2154748/