本文提供了一个使用Spark Shell操作数据的示例，包括从本地文件和HDFS读取数据。通过`sc.textFile()`方法，可以使用通配符加载多个文件或目录。例如，读取按日期和小时分区的HDFS数据，可以使用模糊匹配如`hr=*`来获取指定日期下所有小时的数据。
Scala 行数统计
scala> val lines = sc.textFile("README.md")
lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
res0: Long = 99
scala> lines.first()
命令及结果示例
scala> val lines = sc.textFile("README.md")
lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
res0: Long = 99
scala> lines.first()
res1: String = # Apache Spark
其中 README.md 默认是spark安装路径bin/下的README.md文件，多种读取方式，
1、本地文件:val lines =sc.textFile("file:///root/bus_info.txt")
还可以通过通配符的形式加载多个文件或者加载多个目录下面的所有文件
假设我的数据结构为先按天分区，再按小时分区的，在hdfs上的目录结构类似于：
最低0.47元/天 解锁文章
扫一扫
1392
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
