取出大文件里面的一部分数据

最新推荐文章于 2024-07-09 10:07:03 发布

tuntunwang

最新推荐文章于 2024-07-09 10:07:03 发布

阅读量2.5k

点赞数

分类专栏： spark 文章标签： spark 大文件一部分获取

本文链接：https://blog.csdn.net/tuntunwang/article/details/51320139

版权

spark 专栏收录该内容

23 篇文章 0 订阅

订阅专栏

给你一个几g的数据，你是不容易处理的，一方面加载等处理过程较长，而且还很有可能导致你的电脑死机，或者spark-shell崩溃
有两个方法可以选择：randomSplit filter
方法一randomSplit
scala> val t1=sc.textFile("/media/wangtuntun/DOWNLOAD/AAS_Trip/trip_data_1.csv")
t1: org.apache.spark.rdd.RDD[String] = /media/wangtuntun/DOWNLOAD/AAS_Trip/trip_data_1.csv MapPartitionsRDD[11] at textFile at <console>:27

scala> val t2=t1.randomSplit(Array(0.001,0.999))
t2: Array[org.apache.spark.rdd.RDD[String]] = Array(MapPartitionsRDD[14] at randomSplit at <console>:29, MapPartitionsRDD[15] at randomSplit at <console>:29)

scala> val tLess=t2(0)
tLess: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[14] at randomSplit at <console>:29

scala> tLess.cache
res5: tLess.type = MapPartitionsRDD[14] at randomSplit at <console>:29

scala> tLess.count
res6: Long = 14762

方法二
scala> val split=t1.map(_.split(","))
split: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[18] at map at <console>:29

scala> val filter=split.filter( arr=>arr(8).toInt <100 )
filter: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[19] at filter at <console>:31