2024年Spark-Scala语言实战（5）(1)，2024年最新手把手教你写大数据开发项目文档

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

object PersonApp {
def main(args: Array[String]): Unit = {
// 创建Person对象
val peng = new Person
// 设置属性
peng.name = “peng”
peng.age = 18
// 调用方法
peng.introduce() // 应该输出: Hello, my name is peng and I am 18 years old.
}
}

class Person {
var name: String = _
var age: Int = _

def introduce(): Unit = {
println(s"Hello, my name is $name and I am $age years old.")
}
}

在我的代码中，我运用到了：


1. ##### **Person类**：


	* 定义了一个名为`Person`的类。
	* 类中有两个变量（属性）：`name`（表示人的名字）和`age`（表示人的年龄）。这两个变量都被初始化为占位符`_`，表示它们可以在创建对象后被赋予具体的值。
	* 类中定义了一个方法`introduce`，这个方法没有参数，返回类型为`Unit`（相当于Java中的`void`）。当调用这个方法时，它会打印出一条包含`name`和`age`属性值的问候信息。
2. ##### **PersonApp对象**：


	* 定义了一个名为`PersonApp`的单例对象。在Scala中，单例对象类似于Java中的静态类或单例类，用于包含程序的入口点或其他共享功能。
	* `PersonApp`对象中包含一个`main`方法，这是Scala应用程序的入口点。当你运行Scala程序时，JVM会调用这个`main`方法开始执行程序。
	* 在`main`方法中，首先创建了一个`Person`类的实例`peng`。
	* 然后，通过`peng`对象设置了`name`属性为`"peng"`和`age`属性为`18`。
	* 最后，调用了`peng`对象的`introduce`方法，该方法会打印出一条问候信息，内容应该是：“Hello, my name is peng and I am 18 years old.”。


看一下输出吧


![](https://img-blog.csdnimg.cn/direct/611654b8490341e4baabd8540e002f9d.png)



#### 2.构造器（Constructor）


 Scala的类可以有一个或多个构造器，它们用于初始化对象的属性。在Scala中，主构造器的参数直接定义在类定义中，而辅助构造器使用`this`关键字来调用。

package com.tipdm.scalaDemo

object PersonApp {
def main(args: Array[String]): Unit = {
class Person(val name: String, val age: Int) {
def introduce(): Unit = {
println(s"Hello, my name is $name and I am $age years old.")
}
}

val bob = new Person("peng", 18)
bob.introduce() // 输出: Hello, my name is peng and I am 18 years old.

}
}

在以上代码中，我的方法是：


1. ##### **PersonApp对象**：


	* 定义了一个名为`PersonApp`的单例对象，它是程序的入口点。
	* 在`PersonApp`对象内部定义了`main`方法，这是Scala应用程序的入口点。
2. ##### **局部类Person**：


	* 在`main`方法内部定义了一个局部类`Person`。这个类接受两个参数：`name`（表示人的名字）和`age`（表示人的年龄）。这两个参数被声明为`val`，意味着它们是不可变的，并且在对象创建时就需要被初始化。
	* 类中定义了一个方法`introduce`，用于打印出一条包含`name`和`age`属性值的问候信息。
3. ##### **对象创建和方法调用**：


	* 在`main`方法中，创建了一个`Person`类的实例`bob`，并传入了名字`"peng"`和年龄`18`作为构造参数。
	* 接着调用了`bob`对象的`introduce`方法，该方法会打印出一条问候信息。



#### 3.伴生对象（Companion Objects）


 在Scala中，每个类都有一个与之关联的伴生对象。这个对象与类共享相同的名称，并且它的定义位于类定义的外部。伴生对象可以包含静态方法或字段，这些方法和字段可以通过类名直接访问。

package com.tipdm.scalaDemo

object PersonApp {
object PersonUtils {
def greet(name: String): Unit = {
println(s"Hello, $name!")
}
}

class Person(val name: String) {
def introduce(): Unit = {
println(s"My name is $name.")
}
}
}

object Main {
def main(args: Array[String]): Unit = {
PersonApp.PersonUtils.greet(“peng”) //
val charlie = new PersonApp.Person(“peng”)
charlie.introduce()
}
}

看下输出：


![](https://img-blog.csdnimg.cn/direct/42bcdc1d2d7641f685b57a4c4bdb12ba.png)


## 三、例题演练


####  1、定义一个高阶函数（1


按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作，得到集合每个元素的长度

package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def ppp(arr: Array[String]): Array[Int] = {
arr.map(element => element.length)
}

val array = Array("hh", "red", "java", "hadoop")
val lengths = ppp(array)
val p = lengths.toList // 将数组转换为列表
println(p) // 输出: List(2, 3, 4, 6)

}
}

 ![](https://img-blog.csdnimg.cn/direct/89a7a0eb97b04af199696b15832eb940.png)


#### 2、定义一个高阶函数（2


对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据

package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def peng(arr: Array[Int]): Array[Int] = {
arr.filter(number => number % 2 == 0)
}

val numbers = Array(1, 4, 7, 9, 10, 6, 8, 99, 88, 66)
val ppp = peng(numbers)
val p1 = ppp.toList // 将数组转换为列表
println(p1) // 输出: List(4, 10, 6, 88, 66)

}
}

 ![](https://img-blog.csdnimg.cn/direct/11febf36cff64943b41e169d64d49edc.png)


#### 3、对数据中的元素按照指定规则进行分组


比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”) 规则: 按照地址进行分组

package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def p1(arr: Array[String]): Map[String, List[String]] = {
arr.groupBy(person => person.split(" ")(1)).mapValues(_.toList) // 将每个地址对应的数组转换为列表
}

val people = Array("zhangsan shenzhen man", "lisi beijing woman", "zhaoliu beijing man")
val newp1 = p1(people)
println(newp1)

}
}

![](https://img-blog.csdnimg.cn/direct/a9516f106b9f40ac8076e48f3174fc7b.png)


`.mapValues(_.toList)`: 由于`groupBy`返回的映射的值是数组，所以这里使用`mapValues`方法来转换这些数组为列表。`_.toList`是一个简短的lambda表达式，它接受一个数组并返回该数组的列表形式。



#### 4、根据指定规则对数组所有元素聚合


比如:Array(10,4,6,10,2) 规则: 求和/求乘积

求和
package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def peng(arr: Array[Int]): Int = {
arr.sum
}

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

f3OW-1715576846235)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！