Spark-Scala语言实战（5），看完这一篇就够了

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

二、Scala类与对象

1.类（Class）和对象（Object）

类定义了对象的属性和方法。在Scala中，我们可以使用class关键字来定义一个类。而对象是类的实例，我们可以使用new关键字来创建类的对象。

例：

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    // 创建Person对象
    val peng = new Person
    // 设置属性
    peng.name = "peng"
    peng.age = 18
    // 调用方法
    peng.introduce()  // 应该输出: Hello, my name is peng and I am 18 years old.
  }
}

class Person {
  var name: String = _
  var age: Int = _

  def introduce(): Unit = {
    println(s"Hello, my name is $name and I am $age years old.")
  }
}

在我的代码中，我运用到了：

1. Person类：

   • 定义了一个名为Person的类。
   • 类中有两个变量（属性）：name（表示人的名字）和age（表示人的年龄）。这两个变量都被初始化为占位符_，表示它们可以在创建对象后被赋予具体的值。
   • 类中定义了一个方法introduce，这个方法没有参数，返回类型为Unit（相当于Java中的void）。当调用这个方法时，它会打印出一条包含name和age属性值的问候信息。

2. PersonApp对象：

   • 定义了一个名为PersonApp的单例对象。在Scala中，单例对象类似于Java中的静态类或单例类，用于包含程序的入口点或其他共享功能。
   • PersonApp对象中包含一个main方法，这是Scala应用程序的入口点。当你运行Scala程序时，JVM会调用这个main方法开始执行程序。
   • 在main方法中，首先创建了一个Person类的实例peng。
   • 然后，通过peng对象设置了name属性为"peng"和age属性为18。
   • 最后，调用了peng对象的introduce方法，该方法会打印出一条问候信息，内容应该是：“Hello, my name is peng and I am 18 years old.”。

看一下输出吧

2.构造器（Constructor）

Scala的类可以有一个或多个构造器，它们用于初始化对象的属性。在Scala中，主构造器的参数直接定义在类定义中，而辅助构造器使用this关键字来调用。

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    class Person(val name: String, val age: Int) {
      def introduce(): Unit = {
        println(s"Hello, my name is $name and I am $age years old.")
      }
    }

    val bob = new Person("peng", 18)
    bob.introduce() // 输出: Hello, my name is peng and I am 18 years old.
   }
}

在以上代码中，我的方法是：

1. PersonApp对象：

   • 定义了一个名为PersonApp的单例对象，它是程序的入口点。
   • 在PersonApp对象内部定义了main方法，这是Scala应用程序的入口点。

2. 局部类Person：

   • 在main方法内部定义了一个局部类Person。这个类接受两个参数：name（表示人的名字）和age（表示人的年龄）。这两个参数被声明为val，意味着它们是不可变的，并且在对象创建时就需要被初始化。
   • 类中定义了一个方法introduce，用于打印出一条包含name和age属性值的问候信息。

3. 对象创建和方法调用：

   • 在main方法中，创建了一个Person类的实例bob，并传入了名字"peng"和年龄18作为构造参数。
   • 接着调用了bob对象的introduce方法，该方法会打印出一条问候信息。

3.伴生对象（Companion Objects）

在Scala中，每个类都有一个与之关联的伴生对象。这个对象与类共享相同的名称，并且它的定义位于类定义的外部。伴生对象可以包含静态方法或字段，这些方法和字段可以通过类名直接访问。

package com.tipdm.scalaDemo

object PersonApp {
  object PersonUtils {
    def greet(name: String): Unit = {
      println(s"Hello, $name!")
    }
  }

  class Person(val name: String) {
    def introduce(): Unit = {
      println(s"My name is $name.")
    }
  }
}

object Main {
  def main(args: Array[String]): Unit = {
    PersonApp.PersonUtils.greet("peng") //
    val charlie = new PersonApp.Person("peng")
    charlie.introduce()
  }
}

看下输出：

三、例题演练

1、定义一个高阶函数（1

按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作，得到集合每个元素的长度

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def ppp(arr: Array[String]): Array[Int] = {
      arr.map(element => element.length)
    }

    val array = Array("hh", "red", "java", "hadoop")
    val lengths = ppp(array)
    val p = lengths.toList // 将数组转换为列表
    println(p) // 输出: List(2, 3, 4, 6)
  }
}

2、定义一个高阶函数（2

对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def peng(arr: Array[Int]): Array[Int] = {
      arr.filter(number => number % 2 == 0)
    }

    val numbers = Array(1, 4, 7, 9, 10, 6, 8, 99, 88, 66)
    val ppp = peng(numbers)
    val p1 = ppp.toList // 将数组转换为列表
    println(p1) // 输出: List(4, 10, 6, 88, 66)
  }
}

3、对数据中的元素按照指定规则进行分组

比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”) 规则: 按照地址进行分组

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def p1(arr: Array[String]): Map[String, List[String]] = {
      arr.groupBy(person => person.split(" ")(1)).mapValues(_.toList) // 将每个地址对应的数组转换为列表
    }

    val people = Array("zhangsan shenzhen man", "lisi beijing woman", "zhaoliu beijing man")
    val newp1 = p1(people)
    println(newp1)
  }
}

.mapValues(_.toList): 由于groupBy返回的映射的值是数组，所以这里使用mapValues方法来转换这些数组为列表。_.toList是一个简短的lambda表达式，它接受一个数组并返回该数组的列表形式。

4、根据指定规则对数组所有元素聚合

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

素聚合

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-PVvZ9TPK-1713323955881)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！