SequenceFile文件的读取

在工作当中由于历史原因：有很多数据在SequenceFile里面
textfile是不能读取的，如果转化是可以的，但是 比较麻烦的，
还不如直接读取;之后再进行操作

package g5.learning

import org.apache.hadoop.io.BytesWritable
import org.apache.spark.{SparkConf, SparkContext}

object SequenceFileApp {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("SequenceFileApp")
    val sc = new SparkContext(sparkConf)
    val file = sc.sequenceFile[BytesWritable,String]("路径")
   file.map(x => x._2.split("\t")).map(x=>(x(0),x(1))).foreach(println)
//后面就可以进行相应的操作了
    file.foreach(println)
//    file.map(x=>(x._1.copyBytes(),x._2)).foreach(println)

    sc.stop()
  }


}