Spark加载CSV文件并移除首行，加载JSON并简单使用DataFrame

最新推荐文章于 2022-11-12 10:43:13 发布

小财迷，嘻嘻

最新推荐文章于 2022-11-12 10:43:13 发布

阅读量997

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weixin_48185778/article/details/109647962

版权

本文介绍了如何使用Spark加载D盘test/t目录下的users.csv和users.json文件，并移除CSV文件的首行。分别展示了通过SparkContext和SparkSession的方法，同时针对JSON数据进行了DataFrame的操作列示例。

摘要由CSDN通过智能技术生成

1、加载CSV数据源并移除首行

D盘的test/t目录下有文件users.csv，文件预览如下，加载数据到spark并移除首行。
在这里插入图片描述

1.1 使用SparkContext

import org.apache.spark.{
   SparkConf, SparkContext}

object CsvDemo {
   
  def main(args: Array[String]): Unit = {
   
    val conf = new SparkConf().setMaster("local[2]").setAppName("CsvDemo")
    val sc = SparkContext.getOrCreate(conf)

    val lines = sc.textFile("D:\\test\\t\\users.csv")
    println("lines："+lines.count())
    //方法一
    val fields= lines.mapPartitionsWithIndex((i, v) => {
   
      if (i == 0)
        v.drop(1)
      else
        v
    }).map(x => x.split(","))
    println("fields："+fields.count())
    //方法二(优选)
    val fields2 = lines.filter(x=>x.startsWith("user_id")==false).map(x=>x.split(","))
    println("fields2："+fields.count())
	}
}
/*输出：
lines：38210
fields：38209
fields2：38209
*/

1.2 使用SparkSession

import org.apache.spark.sql.SparkSession
import org.apache.spark.{
   SparkConf, SparkContext, sql}

object CsvDemo {
   
  def main(args: Array[String]):