Spark大数据处理——掌握Scala内建控制结构

已于 2023-05-11 11:03:54 修改
阅读量121 收藏
点赞数
分类专栏： 大数据实时处理 文章标签： scala 开发语言 后端
于 2023-04-22 11:13:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64272885/article/details/130150094
版权

零、本节学习目标

  1. 掌握条件表达式
  2. 掌握各种循环
  3. 理解流间变量绑定
  4. 掌握yield语句的使用
  5. 掌握异常处理语句
  6. 了解match语句的使用
  7. 理解变量作用域

 Scala提供的控制结构并不算多，因为在函数式编程中，可以自己开发出各种功能的控制结构，所以Scala提供的原生控制结构仅仅够用为止。

一、条件表达式

（一）语法格式

1. if (条件) 值1 else 值2
 

（二）执行情况

  • 条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类型，否则就是Any类型
  • Scala的条件表达式有点类似于Java的条件运算符

（三）案例演示

任务1、根据输入值的不同进行判断

 当然也可以在一个表达式中进行多次判断

 可以将上述条件表达式改造成嵌套的选择结构，可读性倒是提高了，但是简洁性降低了

 

任务2、编写Scala程序，判断奇偶性

  • 打开Scala项目ScalaDemo，创建net.cl.day02包，在包里创建Example01对象 
    package net.cl.day02

import scala.io.StdIn

/**
 * 功能：判断奇偶性
 * 作者：cl
 * 日期：2023年02月22日
 */
object Example01 {
  def main(args: Array[String]): Unit = {
    print("n = ")
    val n = StdIn.readLine.toInt
    if (n % 2 == 0)
      println(n.toString + "是偶数~")
    else
      println(n.toString + "是奇数~")
  }
}

    运行程序，查看运行结果： 

     

  • 利用if结构具有返回值的特性，改写程序成为函数式风格（创建Example02）

package net.cl.day02

object Example02 {

  import scala.io.StdIn
    def main(args: Array[String]): Unit = {
      print("n = ")
      val n = StdIn.readLine.toInt
      val result = if (n % 2 == 0)
        n.toString + "是偶数~"
      else
        n.toString + "是奇数~"
      println(result)
    }

}

运行程序，查看运行结果：

二、块表达式

（一）语法格式

{语句组} 

  • 块表达式为包含在符号“{}”中的语句块

（二）执行情况

  • 需要注意的是，Scala中的返回值是最后一条语句的执行结果，而不需要像Java一样单独写return关键字。如果表达式中没有执行结果，就返回一个Unit对象，类似Java中的void。

（三）案例演示

  • 语句块最后一句的值就是整个块表达式的结果

  • 语句块最后一句没有执行结果，那么块表达式结果就是Unit

    三、for循环

    （一）单重for循环

    1、语法格式

 for (变量 <- 集合或数组 (条件)) {
     语句组
}

2、执行情况

  • 表示将集合或数组中的每一个值循环赋给一个变量

3、案例演示

任务1：输出1到10

  • 两种方式实现，一种使用Range类，一种使用to运算符

  • Range(a, b): 从a到b，不包含b，跟Python里的range函数一样，含头不含尾

  • 1 to 10表示将1到10的所有值组成一个集合，且包括10。若不想包括10，则可使用关键字until

  • 打印字符直角三角形

  • 利用map函数产生每行星号构成的向量，然后利用foreach函数循环输出

  • 利用双重循环与流间变量，这个是Scala语言特有的东西

任务2、遍历字符串，输出每个字符

  • 方法一、按索引取字符串的每个字符（传统for循环)

  • 方法二：将字符串看作一个由多个字符组成的集合（增强for循环） 

任务3、计算 1 + 2 + 3 + … + 100

  • 注意sum必须定义为var型变量
  • 利用集合的归并方法来求和最简单

 

任务4、输出列表内的偶数（过滤）

  • 采用三种方法来实现

 任务5、输出全部两位素数

1:for (n <- 10 to 100; if !(n % 2 == 0 || n % 3 == 0 || n % 5 == 0 || n % 7 == 0))  print(n.toString + " ")


2；(10 to 100).filter(n => !(n % 2 == 0 || n % 3 == 0 || n % 5 == 0 || n % 7 == 0))

 

（二）嵌套for循环

1、语法格式

  • 传统格式 
    for (变量1 <- 集合或数组(条件)）
    for (变量2 <- 集合或数组(条件)) {
       语句组
    }
}

  • 特有格式 
    for (变量1 <- 集合或数组; 变量2 <- 集合或数组 (条件)) {
   语句组
}

2、案例演示

任务1、打印九九表

方法一、采用双重循环来实现

  • 在net.cl.day03包里创建Example02对象(Example01在后面，顺序不对，注意看清楚） 
    package net.cl.day03

object Example02 {


  /**
   * 功能：双重循环打印九九表
   * 作者：cl
   * 日期：2023年02月27日
   */
    def main(args: Array[String]): Unit = {
      for (i <- 1 to 9) {
        for (j <- 1 to i) {
          print(i.toString + "×" + j + "=" + (i * j) + "\t")
        }
        println()
      }
    }




}

  • 运行程序，查看结果

方法二、采用单重循环来实现

  • 在net.cl.day03包里创建Example03对象 
    package net.cl.day03

object Example03 {

  /**
   * 功能：单重循环打印九九表
   * 作者：cl
   * 日期：2023年02月27日
   */
    def main(args: Array[String]): Unit = {
      for (i <- 1 to 9; j <- 1 to i) {
        print(i.toString + "×" + j + "=" + (i * j) + "\t")
        if (j == i) println()
      }
    }


}

  • 运行程序，查看结果

方法三、采用单重循环与流间变量绑定来实现

package net.cl.day03

object Example04 {
  /**
   * 功能：单重循环与流间变量绑定打印九九表
   * 作者：cl
   * 日期：2023年02月27日
   */
    def main(args: Array[String]): Unit = {
      for (i <- 1 to 9; j <- 1 to i; sep = if (j == i) "\n" else "\t") {
        print(i.toString + "×" + j + "=" + (i * j) + sep)
      }
    }
}
  • 在net.cl.day03包里创建Example04对象
  • 在for循环头里sep = if (i == j) "\n" else "\t"就是流间变量绑定
  • 运行程序，查看结果

 方法四、采用单重循环、流间变量与yield来实现
for循环语句本身的返回值是Unit类型，无论在循环体中返回什么都是无效的，最终得到的都是Unit的值，但是可以在循环中的循环条件和循环体之间加上yield关键字，那么就可以将循环体产生的返回值组成数组进行返回。
在net.cl.day03包里创建Example01对象

package net.cl.day03

object Example01 {

  /**
   * 功能：采用单重循环、流间变量与yield打印九九表
   * 作者：cl
   * 日期：2023年02月27日
   */
    def main(args: Array[String]): Unit = {
      val list = for (i <- 1 to 9; j <- 1 to i; sep = if (j == i) "\n" else "\t")
        yield i.toString + "×" + j + "=" + (i * j) + sep
      list.foreach(print)
    }


}

运行结果如下：

任务2、去掉对角线

  • 一个三阶方阵，单元格的值是行号与列号的乘积，去掉对角线，输出剩余元素
  • 方法一、传统双重循环（创建Example05对象） 
    package net.cl.day03

object Example05 {

  /**
   * 功能：去掉对角元素
   * 作者：cl
   * 日期：2023年02月27日
   */
    def main(args: Array[String]): Unit = {
      for (i <-1 to 3) {
        for (j <- 1 to 3) {
          if (i != j)
            print((i * j).toString + "\t")
          else
            print("\t")
        }
        println()
      }
    }

}

  • 运行程序，查看结果

  • 方法二、特有双重循环

    package net.cl.day03

object Example07 {

  /**
   * 功能：去掉对角线元素（双重循环）
   * 作者：cl
   * 日期：2023年03月02日
   */
    def main(args: Array[String]): Unit = {
      for (i <- 1 to 3; j <- 1 to 3; sep = if (i == j) "\t" else (i * j).toString + "\t") {
        print(sep)
        if (j == 3) println()
      }
    }


}

  • 运行程序，查看结果

  • 方法三：采用两个流间变量和yield

    package net.cl.day03

object Example08 {

  /**
   * 功能：去掉对角线元素
   * 作者：cl
   * 日期：2023年03月02日
   */
    def main(args: Array[String]): Unit = {
      val list = for (i <- 1 to 3; j <- 1 to 3; sep = if (j==3) "\n" else "\t";
                      str = if (i != j) (i * j).toString + sep else " " + sep) yield str
      list.foreach(print)
    }


}

  • 运行程序，查看结果

四、条件循环

（一）while循环

1、语法格式

  • Scala的while循环与Java类似

while(条件) {   
   循环体
}

2、案例演示

任务1、计算1+ 2 + 3 + … + 100

  • 在net.cl.day03包里创建Example10对象

  • 采用函数式风格来写代码，递归函数来实现求和，注意：此处sum是常量
  • 在net.huawei.day02包里创建Example10_对象 
    package net.cl.day03

object Example10 {

  /**
   * 功能：等差数列求和
   * 作者：cl
   * 日期：2023年03月02日
   */
    def mx(n: Int, sum: Int): Int = {
      if (n > 0) mx(n - 1, sum + n) else sum
    }

    def main(args: Array[String]): Unit = {
      println("1 + 2 + 3 + ... + 100 = " + mx(100, 0))
    }


}

  • 运行程序，查看结果

  • 普通版：

    package net.cl.day03

object Example12 {

  /**
   * 功能：等差数列求和
   * 作者：cl
   * 日期：2023年03月02日
   */
    def main(args: Array[String]): Unit = {
      var sum = 0
      var i = 1
      do {
        sum = sum + i
        i = i + 1
      } while (i <= 100)
      println("1 + 2 + 3 + ... + 100 = " + sum)
    }
}

  • 运行程序，结果如下

任务2、打印全部水仙花数

  • 所谓水仙花数，是指等于其各位数字立方和的三位数。

  • 首先求n的个位数：n % 10
    然后要将三位数变成两位数：n = n / 10;
    对于新的两位数n，又求它的个位数：n % 10
    然后要将两位数变成一位数：n = n / 10;

  • 在net.cl.day02包里创建Example11对象

    package net.cl.day03

object Example11 {

  /**
   * 功能：打印水仙花数
   * 作者：cl
   * 日期：2023年03月02日
   */
    def main(args: Array[String]): Unit = {
      for (n <- 100 to 999) {
        val p1 = n % 10 // 个位数
        val p2 = n / 10 % 10 // 十位数
        val p3 = n / 100 // 百位数
        if (n == p1 * p1 * p1 + p2 * p2 * p2 + p3 * p3 * p3)
          println(n.toString + " = " + p3 + "^3 + " + p2 + "^3 + " + p1 + "^3")
      }
    }


}

  • 运行程序，查看结果

五、异常处理

（一）异常处理概述

  • Scala中继承了Java的异常机制，提供了程序中产生意外情况时处理的机制，抛出异常的过程和Java中基本一致，通过throw关键字进行：throw XxxException()，一旦抛出可以当场捕获处理或接着向上抛，捕获异常是通过 try-catch-finally来实现的。

（二）案例演示

任务：演示try-catch-finally

  • try-catch-finally是有返回值的：如果没有异常就是try语句的返回值，如果有异常就是catch语句的返回值。注意不会是finally的返回值，finally即使有返回值，也会被抛弃，这点和Java是不同的。
  • 在net.cl.day03包里创建Example13对象 
    package net.cl.day03


  import java.io.IOException

  /**
   * 功能：演示异常处理
   * 作者：cl
   * 日期：2023年03月02日
   */
  object Example13 {
    def main(args: Array[String]): Unit = {
      var message = ""
      val result = try {
        mx() // 调用方法，会抛出异常
        "恭喜，程序执行正常~"
      } catch {
        case e: NullPointerException => "空指针异常"
        case e: IOException => "呵呵，这是I/O异常~"
        case e: RuntimeException => "哈哈，这是运行时异常~"
        case e: Exception => "管它呢，反正是异常~"
      } finally {
        message = "程序到此为止~"
        "无论是否有异常，都会执行finally里的语句~"
      }
      println(result)
      println(message)
    }

    def mx(): Unit = {
      throw new RuntimeException("故意抛出一个运行时异常~")//注释掉mx()方法李的语句就可以运行成功
  }


}

  • 执行程序，查看结果（此时有异常，result取的是catch里的返回值 - 哈哈，这是运行时异常~，finally语句块执行了的，因此message可以打印出来 - 程序到此为止！）

  • 注释掉mx()方法里的语句

  • 执行程序，查看结果（此时有异常，result取的是try里的返回值 - 恭喜，程序执行正常！） 

（二）案例演示

任务：给城市下评语

  • 在net.cl.day03包里创建Example14对象 
    package net.cl.day03


  import scala.io.StdIn

  /**
   * 功能：给城市下评语
   * 作者：cl
   * 日期：2023年03月02日
   */
  object Example14 {
    def main(args: Array[String]): Unit = {
      print("输入城市：")
      val city = StdIn.readLine()
      val comment = city match {
        case "北京" => "是伟大的首都~"
        case "上海" => "是神奇的魔都~"
        case "广州" => "是迷人的妖都~"
        case "乐山" => "是甜皮鸭的家~"
        case _ => "是普通的城市~"
      }
      println(city + comment)
    }

}

     

七、补充案例

任务：评定成绩等级

1、编写符合函数式编程风格的Sala程序

  • 在net.cl.day03包里创建Example17对象 
    package net.cl.day03


import scala.io.StdIn

/**
 * 功能：成绩等级评定（采用函数式风格）
 * 作者：cl
 * 日期：2023年03月02日
 */
object Example17 {
  def main(args: Array[String]): Unit = {
    print("score = ")
    val score = StdIn.readLine().toInt

    val comment = if (score > 100) {
      "超出范围"
    } else if (score >= 90) {
      "优秀"
    } else if (score >= 80) {
      "良好"
    } else if (score >= 70) {
      "中等"
    } else if (score >= 60) {
      "及格"
    } else if (score >= 0) {
      "不及格"
    } else {
      "超出范围"
    }

    println("评语：" + comment)
  }


}

  • 运行程序，查看结果

  •  函数式风格的程序有几个特点

if结构像函数一样有返回值
if结构里除了传入参数score之外，没有别的变量。
-if结构里没有与外界交流，比如输入或输出或网络连接或读取文件之类。
函数式编程是为了处理计算，不考虑系统的读写（I/O）。
函数式编程强调没有副作用（指的是函数内部与外部互动，产生运算以外的其它结果）。函数要求独立，只返回一个值，没有其它行为，尤其不能修改外部变量的值

2、非函数式风格的程序

package net.cl.day03



  import scala.io.StdIn

  /**
   * 功能：成绩等级评定（采用非函数式风格）
   * 作者：cl
   * 日期：2023年03月02日
   */
  object Example18 {
    def main(args: Array[String]): Unit = {
      print("score = ")
      val score = StdIn.readLine().toInt

      var comment = ""
      if (score > 100) {
        comment = "超出范围"
      } else if (score >= 90) {
        comment = "优秀"
      } else if (score >= 80) {
        comment = "良好"
      } else if (score >= 70) {
        comment = "中等"
      } else if (score >= 60) {
        comment = "及格"
      } else if (score >= 0) {
        comment = "不及格"
      } else {
        comment = "超出范围"
      }

      println("评语：" + comment)
    }
}

 虽然处理结果跟上面那个程序一样，但是并不符合函数式编程风格。因为if结构有副作用，修改了if结构之外的变量comment的值

package net.cl.day03


  import scala.io.StdIn

  /**
   * 功能：成绩等级评定（采用非函数式风格）
   * 作者：华卫
   * 日期：2023年03月01日
   */
  object Example19 {
    def main(args: Array[String]): Unit = {
      print("score = ")
      val score = StdIn.readLine().toInt

      if (score > 100) {
        println("评语：超出范围")
      } else if (score >= 90) {
        println("评语：优秀")
      } else if (score >= 80) {
        println("评语：良好")
      } else if (score >= 70) {
        println("评语：中等")
      } else if (score >= 60) {
        println("评语：及格")
      } else if (score >= 0) {
        println("评语：不及格")
      } else {
        println("评语：超出范围")
      }
    }


}

不符合函数式编程风格。因为if结构有副作用，有写操作

摸摸小油头.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Scala的Spark大数据处理框架设计源码
04-09
Spark大数据处理框架 - 基于Scala开发，包含26个文件，如SCALA、PNG、GITIGNORE、LICENSE、KEEP、SPARK5/作业5、SPARK6/作业6和SPARK7/SPARK7等。该系统是一个基于Scala的Spark大数据处理框架，通过界面交互和功能模块，为用户提供了一个高效、易用的大数据处理平台。
基于Scala的Spark大数据处理实验设计源码
最新发布
04-08
Spark大数据处理实验：基于Scala开发，包含37个文件，包括17个Scala源文件、11个Word文档、6个PNG图像文件、1个.gitignore文件、1个LICENSE文件和1个文本文件。该项目是一个Spark大数据处理实验项目，旨在为学习者提供实际操作和实验的环境，帮助掌握Spark在大数据处理中的应用和原理。
Spark 入门之 Scala 语言解释及示例讲解
05-15
spark官方文档中文版本，希望对于刚入门的同学有帮助。
实践数据湖iceberg 第三十八课 spark sql， Procedures语法进行数据治理（小文件合并，清理快照）
spark_dev的博客
08-05 1916
从kafka源写入iceberg，会生成大量的小文件，合并小文件，有代码的方式，spark3结合iceberg0.11后，支持使用sql方式实现文件治理，本文记录 expire_snapshots,rewrite_manifests的运行效果与底层文件的变化
Spark 性能调优-----常规性能调优
Codedemo的博客
05-17 373
常规性能调优 1常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单2-1所示： 代码清单2-1 标准Spark提交脚本 /u...
大数据技术原理与应用 第三篇 大数据处理与分析（三）Spark
CNDefoliation的博客
03-03 1596
大数据技术原理与应用 第三篇 大数据处理与分析 Spark 知识点总结与理解
Spark中数据预处理和清洗的方法(python)
Wxh_bai的博客
04-03 2162
常见的数据预处理和清洗方法
Spark(5)scala基础学习-基本数据类型和操作
Matrix70的博客
06-06 99
scala.int中已经定义好了加减乘除了，基本的运算方法,但是例如.max，.min是没有的。写程序时出现异常如何处理，scala不支持受检查的异常，其他基本与java类似。答： 当前在那个目录下启动的scala解释器，他就把这个目录当成写入路径。scala可以直接进行类型推断，如String类，来自java中。由于我们使用的val,他不能重新赋值，如果你想重新赋值，用var。所有的String类，每次在声明时，整个scala程序都会。操作符：在scala中都是方法，因为每一个值都是一个对象。
spark学习——scala基础篇
nicole_33的博客
10-13 2673
1、基础语法 1.1 两种变量类型 Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值 Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值 在Scala中声明变量必须有这两者其一的定义，但类型不是必须的，因为Scala可以自己判断。 1.2 控制台输入输出语句 输入：scala.io.Stdln read 输出：print()、println()、printf() 1.3 读写文件 写入文件：java.io.PrintWriter 读取文件：Scala.io.Source
Scala快速入门(适用于学习Spark)
qq_40078490的博客
02-09 6395
Scala介绍 Scala是一种针对JVM 将面向函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。Scala融汇了许多前所未有的特性，让开发者能够很好的而同时又运行于JVM之上。随着大数据的日益发展，scala必定会成为必不可少的开发语言。
Spark操作 对json复杂和嵌套数据结构的操作
weixin_53898747的博客
04-13 635
从Json取值-----get_json_object，to_json()将获取的数据转化为json格式，对嵌套结构的处理（样例类和炸裂函数使用来解决）。
Spark常见报错与问题解决方法
热门推荐
书忆江南的IT博客
04-21 4万+
1.org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow 原因：kryo序列化缓存空间不足。 解决方法：增加参数，--confspark.kryoserializer.buffer.max=2047m。 2.org.elasticsearch.hadoop.rest.EsHadoopNoN...
spark编程基础
风
04-08 633
spark编程基础
Apache Spark实战教程(二)：Spark 中需要两个RDD进行嵌套操作
UncleTian的博客
01-17 1671
一，前言 因为在Spark中进行RDD的嵌套操作,所以在操作的时候报了一个错误 Caused by: org.apache.spark.SparkException: This RDD lacks a SparkContext. It could happen in the following cases: RDD transformations and actions are NOT invo...
云计算实验3 基于Scala编程语言的Spark数据预处理实验
MrNeo的博客
11-07 2323
本次实验主要使用了Scala语言进行基本的操作，基本熟悉Scala的基本语法、数据类型以及函数的使用，在spark-shell下完成RDD的基本操作，根据实际业务需求使用spark 完成对Apache格式的日志内容的分析，了解了自定义日志过滤函数、日志预处理、日志的相关指标等操作。
一文入门Scala(学习Spark必备)
MarcoLin
06-01 2379
本文主要介绍了Scala基本语法和Scala中函数式编程相关内容
【大数据专场】基于Spark的统一数据管理与数据探索平台
06-12
当今，企业”上云”节奏正在加速，特别是在以人工智能技术为代表的新一波技术浪潮推动下，企业一方面通过云技术增强了自身的数据存储连接、计算以及智能应用能力；另一方面，利用基于云计算之上的大数据、人工智能等新技术，企业又可以以较小的成本、更高效地挖掘出提升企业业务的数据与方法，实现云、数、智的自然融合和协力发展。
Spark数据分析及处理
liuyongsheng666的博客
12-16 1919
目录 用例1：数据清洗EtlDemo JdbcUtils连接Mysql 用例2：用户留存分析Retention 用例3：活跃用户分析Active 用例1：数据清洗EtlDemo 用例1：数据清洗 读入日志文件并转化为RDD[Row]类型 按照Tab切割数据 过滤掉字段数量少于8个的 对数据进行清洗 按照第一列和第二列对数据进行去重 过滤掉状态码非200 过滤掉event_time为空的数据 将url按照”&”以及.....
scala和spark大数据分析 epub
08-30
在Spark中，我们可以使用Scala编写分析代码，利用其强大的函数式编程特性和并行计算能力，来处理大规模的数据集。 将Scala和Spark结合起来，可以获得一个强大而灵活的大数据分析平台。Scala的简洁语法和函数式编程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值