3. 读取parquet列式存储格式文件创建DataFrame
- 准备数据文件
使用Spark自带的数据包
/export/servers/spark/example/src/mian/resources/users.parquet
- 在spark shell执行下面命令, 读取数据
这里使用SparkSession创建DataFrame
val parquetDF = spark.read.parquet("file:///export/servers/spark/examples/src/main/reesources/users.parquet")
- 接下来使用DataFrame的函数操作DataFrame
parquetDF.show
parquetDF.printSchema