大数据实时处理4.2 Spark SQL数据源 - 基本操作

一、基本操作
Spark SQL提供了两个常用的加载数据和写入数据的方法：load()方法和save()方法。load()方法可以加载外部数据源为一个DataFrame，save()方法可以将一个DataFrame写入指定的数据源。
二、默认数据源
（一）默认数据源Parquet
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。Spark SQL可以很容易地读取Parquet文件并将其数据转为DataFrame数据集。
 
（二）案例演示读取Parquet文件
执行命令：cd $SPARK_HOME/examples/src/main/resources，查看Spark的样例数据文件users.parquet

• 用cat命令显示users.parquet文件内容，只会显示乱码

• 将数据文件users.parquet上传到HDFS的/datasource/input目录

 

1、在Spark Shell中演示

• 启动Spark Shell，执行命令：spark-shell --master spark://master:7077

 

• 加载parquet文件，返回数据帧
• 执行命令：val userdf = spark.read.load("hdfs://master:9000/datasource/input/users.parquet"

 

 

• 执行命令：userdf.show()，查看数据帧内容

 

userdf.select("name","favorite_color").write.save("hdfs://master:9000/datasource/output")，对数据帧指定列进行查询，查询结果依然是数据帧，然后通过save()方法写入HDFS指定目录

 

课堂练习1、将4.1节的student.txt文件转换成student.parquet，保存到HDFS的/datasource/input目录
解决思路：将student.txt转成studentdf，利用数据帧的save()方法保存到/datasource/output3目录，然后将文件更名复制到/datasource/input目录

 

• 将学生数据帧保存为parquet文件

 

• 查看生成的parquet文件 

 

• 执行命令：studentDF.show