【Spark九十三】Spark读写Sequence File

最新推荐文章于 2022-10-29 00:34:25 发布

axxbc123

最新推荐文章于 2022-10-29 00:34:25 发布

阅读量1k

点赞数

分类专栏： Spark 文章标签：大数据

本文链接：https://blog.csdn.net/axxbc123/article/details/84712464

版权

本文主要探讨了如何使用Spark读写Sequence File，包括具体代码实现、SequenceFile的内容介绍，并提到了在Spark1.3中隐式转换的细节，重点解析了saveAsSequenceFile方法及其对KV对的要求。

摘要由CSDN通过智能技术生成

1. 代码：

package spark.examples.fileformat

import org.apache.spark.{SparkConf, SparkContext}

object SequenceFileTest {
  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.setAppName("SequenceFileTest")
    conf.setMaster("local[3]")
    val sc = new SparkContext(conf)
    val data = List(("ABC", 1), ("BCD", 2), ("CDE", 3), ("DEF", 4), ("FGH", 5))
    val rdd = sc.parallelize(data, 1)
    val dir = "file:///D:/sequenceFile-" + System.currentTimeMillis()
    rdd.saveAsSequenceFile(dir)
    val rdd2 = sc.sequenceFile[String, Int](dir + "/part-00000")
    println(rdd2.collect().map(elem => (elem._1 + ", " + elem._2)).toList)
  }
}