Spark-SQL数据的加载与保存|加载数据|保存数据|默认数据源

SmallScorpion

于 2020-04-24 11:21:59 发布

阅读量583

点赞数

分类专栏： Spark模块化学习文章标签：大数据 spark json

本文链接：https://blog.csdn.net/qq_40180229/article/details/105725457

版权

本文介绍了Spark SQL中通用的数据加载和保存方法，如使用`spark.read.load`加载数据，`df.write.save`保存数据，并强调了默认数据源为Parquet格式，该格式允许Spark SQL执行各种操作。同时，可以通过配置`spark.sql.sources.default`来改变默认数据源。

摘要由CSDN通过智能技术生成

通用的加载和保存

spark.read.load 是加载数据的通用方法
df.write.save 是保存数据的通用方法

加载数据

直接加载数据

spark.read.json("/opt/module/spark-local/examples/src/main/resources/people.json").show

format指定加载数据类型

spark.read.format("json").load ("/opt/module/spark-local/examples/src/main/resources/people.json").show

在文件上直接运行SQL(几乎不

最低0.47元/天解锁文章