一、基本操作
Spark SQL提供了两个常用的加载数据和写入数据的方法:load()方法和save()方法。load()方法可以加载外部数据源为一个DataFrame,save()方法可以将一个DataFrame写入指定的数据源。
二、默认数据源
(一)默认数据源Parquet
默认情况下,load()方法和save()方法只支持Parquet格式的文件,Parquet文件是以二进制方式存储数据的,因此不可以直接读取,文件中包括该文件的实际数据和Schema信息,也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。Spark SQL可以很容易地读取Parquet文件并将其数据转为DataFrame数据集。
(二)案例演示读取Parquet文件
执行命令: cd $SPARK_HOME/examples/src/main/resources,查看Spark的样例数据文件users.parquet
用cat命令显示users.parquet文件内容,只会显示乱码
将数据文件users.parquet上传到HDFS的/datasource/input目录
1、在Spark Shell中演示
启动Spark Shell,执行命令:spark-shell --master spark://master:7077
执行命令:val userdf = spark.read.load("hdfs://master:9000/datasource/input/users.parquet")
执行命令:userdf.show,查看数据帧内容
执行命令:userdf.printSchema,查看数据帧模式
执行命令:userdf.select("name", "favorite_color").write.save("hdfs://master:9000/datasource/output")