第62课:SparkSQL下的Parquet使用最佳实践和代码实践学习笔记
本期内容:
1 SparkSQL下的Parquet使用最佳实践
2 SparkSQL下的Parquet实战
一:Spark SQL下的Parquet使用最佳实践
1, 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式:
a) Data Source->HDFS->MR/Hive/Spark(相当于ETL)->HDFS Parquet->Spark SQL/Impala->Result Service(可以放在DB中,也有可能被通过JDBC/ODBC来作为数据服务使用);
b) Data Source->Real time update data to HBase/DB->Export to Parquet->Spark SQL/Impala-> Result Service(可以放在DB中,也有可能被通过JDBC/ODBC来作为数据服务使用);
上述的第二种方式完全可以通过Kafka+Spark Streaming+Spark SQL(内部也强烈建议采用Parquet的方式来存储数据)的方式取代。
任何情况下都需要实时处理!人脸识别、信用卡诈骗等都是基于流处理。
2, 期待的方式:Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种Data Mining等
二:Parquet的精要介绍
1, Parquet是列式存储格式的一种文件类型,列式存储有以下的核心优势:
a.可以跳过不符合条件的数据,只读取需要的数据,降低IO数据量。
b.压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的,可以使用更高效的压缩编码(例如Run Length Encoding和Delta Encoding)进一步节约存储空间。
c.只读取需要的列,支持向量运算,能够获取更好的扫描性能。
三.下面编写代码读取parquet文件内容并打印:
package SparkSQLByJava;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;
public class SparkSQLParquetOps {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("SparkSQLParquetOps");
JavaSparkContext sc = new JavaSparkContext(conf);
SQLContext sqlContext = new SQLContext(sc);
DataFrame usersDF = sqlContext.read().parquet("D:\\DT-IMF\\testdata\\users.parquet");
//注册成为临时表以供后续的SQL查询操作
usersDF.registerTempTable("users");
//进行数据的多维度分析
DataFrame result = sqlContext.sql("select * from users");
//对结果进行处理,包括由DataFrame转换成为RDD<Row>,以及结构持久化。
List<Row> listRow = result.javaRDD().collect();
for(Row row : listRow){
System.out.println(row);
}
}
}
在eclipse中的运行console:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/04/02 09:17:56 INFO SparkContext: Running Spark version 1.6.0
16/04/02 09:18:07 INFO SecurityManager: Changing view acls to: think
16/04/02 09:18:07 INFO SecurityManager: Changing modify acls to: think
16/04/02 09:18:07 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(think); users with modify permissions: Set(think)
16/04/02 09:18:09 INFO Utils: Successfully started service 'sparkDriver' on port 60088.</