spark sql 读取 parquet 文件

 

SQL

你可以使用spark-sql -S启动 sql的 spark。

CREATE TEMPORARY VIEW parquetTable
USING org.apache.spark.sql.parquet
OPTIONS (
  path "/user/data/dt=2020-09-09/"
)

这行代码会从上述文件夹读取parquet文件，读取后的table就叫parquetTable

可以使用：

desc parquetTable;
select * from parquetTable limit 10;

scala

 

 val users = spark.read.parquet("path")