《深入理解Spark》之使用scala开发spark时，map+case结构使用技巧

最新推荐文章于 2023-06-08 10:53:57 发布

lyzx_in_csdn

最新推荐文章于 2023-06-08 10:53:57 发布

阅读量5.3k

点赞数 2

分类专栏： Spark

本文链接：https://blog.csdn.net/lyzx_in_csdn/article/details/82930300

版权

本文分享了在使用scala开发Spark程序时，如何巧妙运用map结合case语句来处理数据的一些实用技巧。

摘要由CSDN通过智能技术生成

scala开发Spark程序时使用map +case结构的一点小技巧

people.txt文本如下

lyzx1,19
lyzx2,20
lyzx3,21
lyzx4,22
lyzx5,23
lyzx6,24
lyzx7,25
lyzx7,25,哈哈
托塔天王

package com.lyzx.start

import org.apache.spark.{SparkConf, SparkContext}

class Start02 {}

object Start02{

  /**
    * map 用法深度理解
    * 1、在map中使用if-elseif分支结构最好带上else 表示把所有的情况都考虑全 否则会返回默认的空值
    * 2、在map中使用case是scala的用法和spark没有关系 同样要使用case 最好带上 case _ 表示所有的情况都考虑完全
    *     否则容易出异常
    * @param args
    */
  def main(args: Array[String]): Unit = {
      val sparkConf = new SparkConf()
          sparkConf.setAppName("case_test")
          sparkConf.setMaster("local[2]")
      val sparkContext = new SparkContext(sparkConf)
      val rdd = sparkContext.textFile("files/people.txt")
      rdd.map(line=>line.split(","))
         .map(
            line=>if(line.l