SparkSql的输入输出

SparkSQL的输入和输出

SparkSQL的输入

写法一:

SparkSession对象.read.json(“路径”)

SparkSession对象.read.jdbc(“路径”)

SparkSession对象.read.csv(“路径”)

SparkSession对象.read. parquet(“路径”) Parquet格式经常在Hadoop生态圈中被使用，它也支持Spark SQL的全部数据型

SparkSession对象.read.orc(“路径”)

SparkSession对象.read.table(“路径”)

SparkSession对象.read.text(“路径”)

SparkSession对象.read. textFile(“路径”)

写法二:

SparkSession对象.read.format(“json”).load(“路径”)

ps:若不执行format默认是parquet格式

SparkSQL的输出

写法一:

DataFrame或DataSet对象.write.json(“路径”)

DataFrame或DataSet对象.write.jdbc(“路径”)

DataFrame或DataSet对象.write.csv(“路径”)

DataFrame或DataSet对象.write.parquet(“路径”)

DataFrame或DataSet对象.write.orc(“路径”)

DataFrame或DataSet对象.write.table(“路径”)

DataFrame或DataSet对象.write.text(“路径”)

写法二:

DataFrame或DataSet对象.write.fo