Spark读取与写入文件

最新推荐文章于 2024-07-04 16:40:38 发布

Frantic丶Lin

最新推荐文章于 2024-07-04 16:40:38 发布

阅读量1.9w

点赞数 2

分类专栏： Spark 文章标签：大数据

本文链接：https://blog.csdn.net/a294233897/article/details/80904305

版权

本文介绍了在Spark 2.3.0版本中如何通过SparkSession作为统一入口进行文件的读取和写入操作，涵盖了读取与写入的基本步骤。

摘要由CSDN通过智能技术生成

入口

在 2.3.0 的Spark版本中, SparkSession是统一的入口了

//创建 SparkSession
val spark = SparkSession
      .builder
      .appName('MySparkApp')
      .enableHiveSupport() //开启访问Hive数据, 要将hive-site.xml等文件放入Spark的conf路径
      .master('local[2]')
      .getOrCreate()

读取

val csv_data = spark.read.csv("file:///D:/java_workspace/fun_test.csv") //本地文件
val csv_data = spark.read.csv("hdfs:///tmp/fun_test.csv") //HDFS文件
val c