spark 解析ZIP文件中的JSON数据

最新推荐文章于 2021-12-21 14:31:57 发布

枪枪枪

最新推荐文章于 2021-12-21 14:31:57 发布

阅读量907

点赞数

分类专栏： Spark 文章标签： spark sql big data

本文链接：https://blog.csdn.net/az9996/article/details/121673687

版权

Spark 专栏收录该内容

35 篇文章 1 订阅

订阅专栏

这篇博客介绍了如何在Apache Spark中处理ZIP压缩文件的两种方法。方法一是通过`binaryFiles`读取ZIP文件，然后使用`ZipInputStream`解压缩，逐行读取内容。方法二是利用`newAPIHadoopRDD`配合Hadoop的输入格式处理压缩文件。这两个方法都可以有效地加载和解析压缩文件的内容。

摘要由CSDN通过智能技术生成

方法一：
参考资料：https://blog.csdn.net/GCR8949/article/details/80155064

import org.apache.spark.SparkConf
import org.apache.spark.input.PortableDataStream
import org.apache.spark.sql.SparkSession
import java.io.{BufferedReader, InputStreamReader}
import java.util.zip.ZipInputStream

val spark = getLocalSparkSession()

    val binaryRDD = spark.sparkContext.binaryFiles("XXX.zip")
    val dataRDD= binaryRDD.flatMap {
      case (name: String, content: PortableDataStream) => val zis = new ZipInputStream(content.open())
        Stream.continually(zis.getNextEntry)
          .takeWhile(_ != null)
          .flatMap { _ =>
            val br = new BufferedReader(new InputStreamReader(zis))
            Stream.continually(br.readLine()).takeWhile(_ != null)
          }
    }
    dataRDD.take(10).foreach(println)

    spark.read.json(dataRDD).show(100)