大数据最全Spark-Scala语言实战（5），2024年最新细数大数据开发开发者的艰辛历程

m0_74932057

已于 2024-05-07 07:10:30 修改

阅读量723

点赞数 24

分类专栏：程序员文章标签：大数据 spark scala

于 2024-05-07 07:10:28 首次发布

本文链接：https://blog.csdn.net/m0_74932057/article/details/138517486

版权

程序员专栏收录该内容

185 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

而我们的元组，则不需要用特殊的关键字，可以直接创建

现在，开始今天的学习吧

二、Scala类与对象

1.类（Class）和对象（Object）

类定义了对象的属性和方法。在Scala中，我们可以使用class关键字来定义一个类。而对象是类的实例，我们可以使用new关键字来创建类的对象。

例：

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    // 创建Person对象
    val peng = new Person
    // 设置属性
    peng.name = "peng"
    peng.age = 18
    // 调用方法
    peng.introduce()  // 应该输出: Hello, my name is peng and I am 18 years old.
  }
}

class Person {
  var name: String = _
  var age: Int = _

  def introduce(): Unit = {
    println(s"Hello, my name is $name and I am $age years old.")
  }
}

在我的代码中，我运用到了：

Person类：
- 定义了一个名为Person的类。
- 类中有两个变量（属性）：name（表示人的名字）和age（表示人的年龄）。这两个变量都被初始化为占位符_，表示它们可以在创建对象后被赋予具体的值。
- 类中定义了一个方法introduce，这个方法没有参数，返回类型为Unit（相当于Java中的void）。当调用这个方法时，它会打印出一条包含name和age属性值的问候信息。
PersonApp对象：
- 定义了一个名为PersonApp的单例对象。在Scala中，单例对象类似于Java中的静态类或单例类，用于包含程序的入口点或其他共享功能。
- PersonApp对象中包含一个main方法，这是Scala应用程序的入口点。当你运行Scala程序时，JVM会调用这个main方法开始执行程序。
- 在main方法中，首先创建了一个Person类的实例peng。
- 然后，通过peng对象设置了name属性为"peng"和age属性为18。
- 最后，调用了peng对象的introduce方法，该方法会打印出一条问候信息，内容应该是：“Hello, my name is peng and I am 18 years old.”。

看一下输出吧

2.构造器（Constructor）

Scala的类可以有一个或多个构造器，它们用于初始化对象的属性。在Scala中，主构造器的参数直接定义在类定义中，而辅助构造器使用this关键字来调用。

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    class Person(val name: String, val age: Int) {
      def introduce(): Unit = {
        println(s"Hello, my name is $name and I am $age years old.")
      }
    }

    val bob = new Person("peng", 18)
    bob.introduce() // 输出: Hello, my name is peng and I am 18 years old.
   }
}

在以上代码中，我的方法是：

PersonApp对象：
- 定义了一个名为PersonApp的单例对象，它是程序的入口点。
- 在PersonApp对象内部定义了main方法，这是Scala应用程序的入口点。
局部类Person：
- 在main方法内部定义了一个局部类Person。这个类接受两个参数：name（表示人的名字）和age（表示人的年龄）。这两个参数被声明为val，意味着它们是不可变的，并且在对象创建时就需要被初始化。
- 类中定义了一个方法introduce，用于打印出一条包含name和age属性值的问候信息。
对象创建和方法调用：
- 在main方法中，创建了一个Person类的实例bob，并传入了名字"peng"和年龄18作为构造参数。
- 接着调用了bob对象的introduce方法，该方法会打印出一条问候信息。

3.伴生对象（Companion Objects）

在Scala中，每个类都有一个与之关联的伴生对象。这个对象与类共享相同的名称，并且它的定义位于类定义的外部。伴生对象可以包含静态方法或字段，这些方法和字段可以通过类名直接访问。

package com.tipdm.scalaDemo

object PersonApp {
  object PersonUtils {
    def greet(name: String): Unit = {
      println(s"Hello, $name!")
    }
  }

  class Person(val name: String) {
    def introduce(): Unit = {
      println(s"My name is $name.")
    }
  }
}

object Main {
  def main(args: Array[String]): Unit = {
    PersonApp.PersonUtils.greet("peng") //
    val charlie = new PersonApp.Person("peng")
    charlie.introduce()
  }
}

看下输出：

三、例题演练

1、定义一个高阶函数（1

按照指定的规则对集合里面的每个元素进行操作比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作，得到集合每个元素的长度

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def ppp(arr: Array[String]): Array[Int] = {
      arr.map(element => element.length)
    }

    val array = Array("hh", "red", "java", "hadoop")
    val lengths = ppp(array)
    val p = lengths.toList // 将数组转换为列表
    println(p) // 输出: List(2, 3, 4, 6)
  }
}

2、定义一个高阶函数（2

对数据中的元素按照指定的规则进行过滤比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def peng(arr: Array[Int]): Array[Int] = {
      arr.filter(number => number % 2 == 0)
    }

    val numbers = Array(1, 4, 7, 9, 10, 6, 8, 99, 88, 66)
    val ppp = peng(numbers)
    val p1 = ppp.toList // 将数组转换为列表
    println(p1) // 输出: List(4, 10, 6, 88, 66)
  }
}

3、对数据中的元素按照指定规则进行分组

比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”) 规则: 按照地址进行分组

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def p1(arr: Array[String]): Map[String, List[String]] = {
      arr.groupBy(person => person.split(" ")(1)).mapValues(_.toList) // 将每个地址对应的数组转换为列表
    }

    val people = Array("zhangsan shenzhen man", "lisi beijing woman", "zhaoliu beijing man")
    val newp1 = p1(people)
    println(newp1)


![img](https://img-blog.csdnimg.cn/img_convert/b2ec8af7d6ab1a5206a3d62e2a8b6397.png)
![img](https://img-blog.csdnimg.cn/img_convert/37a78a10fdbf428971cb44bf66828b90.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

jNqf-1715037013236)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**