SparkSQL数据源

Spark SQL的输入输出

1.对于Spark SQL的输入需要使用sparkSession.read方法

• 语法 sparkSession.read.format(“json”).load(“path”) 支持类型：(parquet,json,text,csv,jdbc,orc)
• 专业模式： sparkSession.read.json , csv可以直接指定类型

2.对于Spark SQL的输出需要使用dataFrame/dataSet.wirte方法

• 语法：dataFrame.write.format(“json”).save(“path”) 支持类型：(parquet,json,text,csv,jdbc,orc)
• 专业模式：dataFrame.write.csv(“path”) 直接指定类型

3.如果使用基本语法模式的话，spark默认是parquet格式，sparkSession.read.load他的默认加载是parquet格式。dataFrame.write.save默认保存格式也是parquet格式。

4.如果需要保存成text文件，那么需要dataFrame里面只有一列