sparksql 保存点_SparkSQL 读取 和 保存文件

概述

SparkSQL 对文件的读取和保存都有通用的方式和不同格式文件读取、保存的简化方式。

创建连接对象val session = SparkSession.builder

.master("local[*]")

.appName("read")

.getOrCreate()

读取文件默认的读取文件的格式是 .parquet文件，在 Spark 安装包 /examples/src/main/resources 下面有例子

session.read.load("路径")

通用格式通用个格式默认读取的是 .parquet ，我们可以修改这个默认值

session.read.format("json").load("路径")

简化格式简化格式只有一些常见的格式

session.read.json("路径")

-------------------------

// 支持格式

csv format jdbc json load option options orc parquet schema table text textFile

读取 MySQL 的数据

需要加入 MySQL 的依赖

方式一

session.read.format("jdbc")

// 数据库连接

.option("url", "jdbc:mysql://127.0.0.1:3306/world")

// 数据库表

.option("dbtable", "city")

// 数据库用户名

.optio