2024年Spark-Scala语言实战(5)(1),2024年最新手把手教你写大数据开发项目文档

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

object PersonApp {
def main(args: Array[String]): Unit = {
// 创建Person对象
val peng = new Person
// 设置属性
peng.name = “peng”
peng.age = 18
// 调用方法
peng.introduce() // 应该输出: Hello, my name is peng and I am 18 years old.
}
}

class Person {
var name: String = _
var age: Int = _

def introduce(): Unit = {
println(s"Hello, my name is $name and I am $age years old.")
}
}


在我的代码中,我运用到了:


1. ##### **Person类**:


	* 定义了一个名为`Person`的类。
	* 类中有两个变量(属性):`name`(表示人的名字)和`age`(表示人的年龄)。这两个变量都被初始化为占位符`_`,表示它们可以在创建对象后被赋予具体的值。
	* 类中定义了一个方法`introduce`,这个方法没有参数,返回类型为`Unit`(相当于Java中的`void`)。当调用这个方法时,它会打印出一条包含`name`和`age`属性值的问候信息。
2. ##### **PersonApp对象**:


	* 定义了一个名为`PersonApp`的单例对象。在Scala中,单例对象类似于Java中的静态类或单例类,用于包含程序的入口点或其他共享功能。
	* `PersonApp`对象中包含一个`main`方法,这是Scala应用程序的入口点。当你运行Scala程序时,JVM会调用这个`main`方法开始执行程序。
	* 在`main`方法中,首先创建了一个`Person`类的实例`peng`。
	* 然后,通过`peng`对象设置了`name`属性为`"peng"`和`age`属性为`18`。
	* 最后,调用了`peng`对象的`introduce`方法,该方法会打印出一条问候信息,内容应该是:“Hello, my name is peng and I am 18 years old.”。


看一下输出吧


![](https://img-blog.csdnimg.cn/direct/611654b8490341e4baabd8540e002f9d.png)



#### 2.构造器(Constructor)


 Scala的类可以有一个或多个构造器,它们用于初始化对象的属性。在Scala中,主构造器的参数直接定义在类定义中,而辅助构造器使用`this`关键字来调用。



package com.tipdm.scalaDemo

object PersonApp {
def main(args: Array[String]): Unit = {
class Person(val name: String, val age: Int) {
def introduce(): Unit = {
println(s"Hello, my name is $name and I am $age years old.")
}
}

val bob = new Person("peng", 18)
bob.introduce() // 输出: Hello, my name is peng and I am 18 years old.

}
}


在以上代码中,我的方法是:


1. ##### **PersonApp对象**:


	* 定义了一个名为`PersonApp`的单例对象,它是程序的入口点。
	* 在`PersonApp`对象内部定义了`main`方法,这是Scala应用程序的入口点。
2. ##### **局部类Person**:


	* 在`main`方法内部定义了一个局部类`Person`。这个类接受两个参数:`name`(表示人的名字)和`age`(表示人的年龄)。这两个参数被声明为`val`,意味着它们是不可变的,并且在对象创建时就需要被初始化。
	* 类中定义了一个方法`introduce`,用于打印出一条包含`name`和`age`属性值的问候信息。
3. ##### **对象创建和方法调用**:


	* 在`main`方法中,创建了一个`Person`类的实例`bob`,并传入了名字`"peng"`和年龄`18`作为构造参数。
	* 接着调用了`bob`对象的`introduce`方法,该方法会打印出一条问候信息。



#### 3.伴生对象(Companion Objects)


 在Scala中,每个类都有一个与之关联的伴生对象。这个对象与类共享相同的名称,并且它的定义位于类定义的外部。伴生对象可以包含静态方法或字段,这些方法和字段可以通过类名直接访问。



package com.tipdm.scalaDemo

object PersonApp {
object PersonUtils {
def greet(name: String): Unit = {
println(s"Hello, $name!")
}
}

class Person(val name: String) {
def introduce(): Unit = {
println(s"My name is $name.")
}
}
}

object Main {
def main(args: Array[String]): Unit = {
PersonApp.PersonUtils.greet(“peng”) //
val charlie = new PersonApp.Person(“peng”)
charlie.introduce()
}
}


看下输出:


![](https://img-blog.csdnimg.cn/direct/42bcdc1d2d7641f685b57a4c4bdb12ba.png)


## 三、例题演练


####  1、定义一个高阶函数(1


按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作,得到集合每个元素的长度



package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def ppp(arr: Array[String]): Array[Int] = {
arr.map(element => element.length)
}

val array = Array("hh", "red", "java", "hadoop")
val lengths = ppp(array)
val p = lengths.toList // 将数组转换为列表
println(p) // 输出: List(2, 3, 4, 6)

}
}


 ![](https://img-blog.csdnimg.cn/direct/89a7a0eb97b04af199696b15832eb940.png)


#### 2、定义一个高阶函数(2


对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据



package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def peng(arr: Array[Int]): Array[Int] = {
arr.filter(number => number % 2 == 0)
}

val numbers = Array(1, 4, 7, 9, 10, 6, 8, 99, 88, 66)
val ppp = peng(numbers)
val p1 = ppp.toList // 将数组转换为列表
println(p1) // 输出: List(4, 10, 6, 88, 66)

}
}


 ![](https://img-blog.csdnimg.cn/direct/11febf36cff64943b41e169d64d49edc.png)


#### 3、对数据中的元素按照指定规则进行分组


比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”) 规则: 按照地址进行分组



package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def p1(arr: Array[String]): Map[String, List[String]] = {
arr.groupBy(person => person.split(" ")(1)).mapValues(_.toList) // 将每个地址对应的数组转换为列表
}

val people = Array("zhangsan shenzhen man", "lisi beijing woman", "zhaoliu beijing man")
val newp1 = p1(people)
println(newp1)

}
}


![](https://img-blog.csdnimg.cn/direct/a9516f106b9f40ac8076e48f3174fc7b.png)


`.mapValues(_.toList)`: 由于`groupBy`返回的映射的值是数组,所以这里使用`mapValues`方法来转换这些数组为列表。`_.toList`是一个简短的lambda表达式,它接受一个数组并返回该数组的列表形式。



#### 4、根据指定规则对数组所有元素聚合


比如:Array(10,4,6,10,2) 规则: 求和/求乘积



求和
package com.tipdm.scalaDemo

object p6 {
def main(args: Array[String]): Unit = {
def peng(arr: Array[Int]): Int = {
arr.sum
}

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

f3OW-1715576846235)]

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 11
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值