Spark读取与写入文件

入口

在 2.3.0 的Spark版本中, SparkSession是统一的入口了

//创建 SparkSession
val spark = SparkSession
      .builder
      .appName('MySparkApp')
      .enableHiveSupport() //开启访问Hive数据, 要将hive-site.xml等文件放入Spark的conf路径
      .master('local[2]')
      .getOrCreate()

读取

val csv_data = spark.read.csv("file:///D:/java_workspace/fun_test.csv") //本地文件
val csv_data = spark.read.csv("hdfs:///tmp/fun_test.csv") //HDFS文件
val c