基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述
spark 2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述
由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell客户端操作会有些许不同，具体如下文所述

二、spark额外配置
1. 正常配置不再赘述，这里如果需要读取MySQL数据，则需要在当前用户下的环境变量里额外加上JDBC的驱动jar包
例如我的是：mysql-connector-java-5.1.18-bin.jar
存放路径是$SPARK_HOME/jars
所以需要额外配置环境变量

    export PATH = $PATH:$SPARK_HOME/jars

1. 启动spark-shell

bin/spark-shell --master=spark://h4:7077  --driver-class-path=./jars/mysql-connector-java-5.1.18-bin.jar --jars=./jars/mysql-connector-java-5.1.18-bin.jar

1. spark-sql采用sql方式执行操作
   正常启动之后可以先通过spark-sql建立数据库并切换到当前新建的数据库

spark.sql("create database spark")

可以查看下是否新建成功

spark.sql("show databases ").show

创建成功之后切换数据库

spark.sql("use spark")

现在开始读取远程MySQL数据

val sql = """CREATE TABLE student
                  USING org.apache.spark.sql.jdbc
                  OPTIONS (
                    url "jdbc:mysql://worker2:3306/spark",
                    dbtable "student",
                    user "root",
                    password "root"
                  )"""
 spark.sql(sql);

等待执行完毕之后，将表数据存入缓存

spark.sql("cache table student")

此时即可进行操作，例如：

val studentDF = spark.sql("select id,name from student")

完成需求查询之后，可将结果以parquet的格式保存至HDFS

studentDF.write.parquet("hdfs://h4:9000/test/spark/parquet")

也可以写成json格式

studentDF.write.json("hdfs://h4:9000/test/spark/json")

三、拓展
集群状态下，硬件配置32G内存 2T硬盘，spark配了4核，内存分配了20G的情况下，测试速度如下：
2700万条记录的表导入spark用时1秒以内
sparksql将其以json格式存入HDFS用时288秒，共1.0G，将其以parquet格式存入HDFS用时207秒，共86.6M，可见parquet的优势还是比较明显