scala spark2读取csv文件，并且处理后输出成.out文件

最新推荐文章于 2024-09-05 17:10:06 发布

QAQ_666666

最新推荐文章于 2024-09-05 17:10:06 发布

阅读量823

点赞数

分类专栏： spark 文章标签： scala spark2 读取csv文件输出成.out文件

本文链接：https://blog.csdn.net/QAQ_666666/article/details/107100151

版权

spark 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

    val sparkCfg = new SparkConf().set("spark.driver.maxResultSize", "0")
    sparkCfg.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

    val sparkSession = SparkSession.builder()
      .appName(appCfg.getString("appName"))
      .master(appCfg.getString("master"))
      .config(sparkCfg).getOrCreate();

    val csvDataset = sparkSession.sqlContext.read
      .option("header", true).option("multiLine", "true").option("quote", "\"").option("escape", "\"")
      .csv(path)
    val resultRDD = csvDataset.rdd.map(row=>{
        //业务处理
    })
    resultRDD .saveAsTextFile(srcPath)
    val src = new Path(srcPath)
    val dst = new Path(srcPath+".out")
    val config = new Configuration
    FileUtil.copyMerge(src.getFileSystem(config), src, dst.getFileSystem(config), dst, true, config, null)