- 启动spark命令
spark-shell - 执行以下操作读取parquet文件
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder().appName(“Java Spark SQL basic example”).getOrCreate();
val ufdr = spark.read.load(“hdfs://test/part1”); - 打印具体内容,显示5行数据
udfr.show(5) - 打印parquet文件中数据行数
udfr.count() - 打印parquet数据结构
udfr.printSchema()
Spark开发详细流程之三:命令行窗口查看Parquet文件
最新推荐文章于 2024-01-02 17:27:05 发布