八.SparkSQL之外部数据源操作parquet文件

一.引言
     前面讲的SparkSQL都是通过代码操作,这里换另外一种方式,通过命令的形式进行操作,实际就是代码放在命令行中执行.
概念:
     方便快速的从不同的数据源(json,parquet,rdbms),经过混和处理(json,join,parquet)再将处理结果以特定的格式(json,parquet)写会到指定的系统(HDFS,S3)上去.
二.实例演示

1.启动spark-shell
在spark的bin目录下执行以下命令:

./spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.38.jar
进入到scala的命令行

2.读取parquet的文件数据源,需要制定类型format(读取文件默认的是parquet格式,但是读取其他类型的文件需要指定格式)

val userDF = spark.read.format(“parquet”).load(“file:///root/spark/spark-2.0.2->bin-hadoop2.7/examples/src/main/resources/users.parquet”)

3.通过输出命令进行查看

 //展示两列数据源
  userDF.select("name","favorite_color").show()

4.写方法,以json的形式写在一个新的路径下的文件下
    源数据是parquet类型的文件,读取到之后的数据通过write方法,以json的形式重新存储到新的文件中.
命令代码如下:

userDF.select("name","favorite_color").write.format("json").save("file:///root/spark/tmp/jsonout")

显示结果:

以上就完成了外部数据源操作parquet文件.就是这么简单…