Spark读取HDFS或者AFS等文件系统文件

最新推荐文章于 2023-04-07 14:33:15 发布

Yaphets丶混世大魔王

最新推荐文章于 2023-04-07 14:33:15 发布

阅读量2.3k

点赞数

分类专栏： # spark 文章标签： spark spark text spark textFile spark 读取多文件 spark读取文件夹

本文链接：https://blog.csdn.net/tianhouquan/article/details/85418013

版权

Spark读取HDFS或者AFS等文件系统文件

Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。

方案一：spark的textFile方法，也是最简单的方案，支持通配符，简单好用

String afsFilePath="afs://afs.yun.com/app/file/*/sss*";
// String afsFilePath="afs://afs.yun.com/app/file/text/text.txt";
// String afsFilePath="afs://afs.yun.com/app/file/text/*.log";
// 读取之后的是String类型的Dataframe对象，一般需要转换为RDD去处理更方便
// spark会自动去循环目录下的所有文件，可以通过通配符的方式读取你想要的文件
// 通配符的方式还有很多，我这里就不一一概述了
Dataset<String> stringDataset = spark.read().textFile(afsFilePath);
JavaRDD<String> logLinesStr = stringDataset.javaRDD();

JavaRDD<String> logLinesStr = spark.read().textFile(afsFilePath).javaRDD();

Hadoop支持的通配符与Unix bash相同

表1 通配符及其含义