SparkCore和SparkSql读取与保存hdfs文件的方法

最新推荐文章于 2023-05-29 16:05:35 发布

尘世壹俗人

最新推荐文章于 2023-05-29 16:05:35 发布

阅读量1.7k

点赞数 1

分类专栏：大数据Spark技术文章标签： spark 大数据

本文链接：https://blog.csdn.net/dudadudadd/article/details/113881116

版权

大数据Spark技术专栏收录该内容

47 篇文章 2 订阅

订阅专栏

第一种SparkCore

val conf = new SparkConf().setAppName(“File”).setMaster(“spark://IP地址:7077”)//这里你可以写local，我这样写是可以看做是在用spark-on-yarn
val sc = new SparkContext(conf);
val data = sc.textFile(“hdfs://IP地址:9000/文件路径”)//读取，读取时单一文件或路径都可以
data.saveAsTextFile(“hdfs://IP地址/文件路径”)//写，写入时一般结果是生成一个路径

第二种SparkSql

val spark = SparkSession.builder().master("local").appName("a").getOrCreate()
val rdd = spark.read.format("csv").option("header","true").load("hdfs://ip:9000/文件路径")//其他格式的文件同理，只需要load的时候用hdfs的地址就可以了
//写，也可以用hdfs的地址
rdd.write.text("sqltext_result")