课堂笔记-大数据处理库Scala
文章平均质量分 89
学习只是进步
练习&两年半
※不断地让自己有新理想、新计划,使自己有新的发挥,生活才不致平淡无聊,生命的价值也才能充分地显现。
展开
-
大数据实时处理学期总结(Spark、Scala)
Spark和Scala是两个紧密相关的技术,它们一起构成了大数据处理和机器学习领域的重要工具。在本学期的学习中,我深入了解了Spark和Scala的基础知识和应用场景,并掌握了如何使用它们来解决实际问题。在这篇总结中,我将分享我的学习体验和心得,以及遇到的问题和解决方案。首先,我想谈谈Scala语言。Scala是一种面向对象的编程语言,它具有静态类型、函数式编程和面向对象编程的特性。Scala的语法简洁明了,代码可读性高,使得编写和维护代码变得更加容易。原创 2023-06-15 20:28:05 · 446 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.7 掌握Scala类、对象、抽象类与特质
对象是类的具体实例,类是抽象的,不占用内存,而对象是具体的,占用存储空间。面向对象三大特性之一:封装(encapsulation) - 封装数据和操作Scala中一个简单的类定义是使用关键字class,类名首字母必须大写。类中的方法用关键字def定义创建包,在包里创建User类,包含三个私有属性和一个公共方法private var name = "张三丰"private var gender = "男"原创 2023-03-30 11:03:33 · 988 阅读 · 3 评论 -
大数据处理学习笔记1.6 Scala数据结构
(1)定义数组时初始化数据自动推断数组类型手动指定数据类型(2)定义时指定数组长度,后赋值先定义,后赋值避免数组下标越界错误变长数组使用类进行定义定义一个变长Int类型数组arr利用+=运算符添加数组元素(注意是追加元素)遍历数组arr,跟遍历定长数组没有不同删除数组元素数组中有多个值为4的元素,则从前向后删除第一个匹配的元素,本次删除,第一个4被删除了,但是第二4还依然存在。定义一个元组student定义一个空的不可变集合。原创 2023-03-30 10:26:38 · 180 阅读 · 0 评论 -
大数据处理学习笔记1.5 掌握Scala内建控制结构
Scala中继承了Java的异常机制,提供了程序中产生意外情况时处理的机制,抛出异常的过程和Java中基本一致,通过throw,一旦抛出可以当场捕获处理或接着向上抛,捕获异常是通过来实现的。原创 2023-03-06 08:56:24 · 811 阅读 · 0 评论 -
大数据处理学习笔记1.4 掌握Scala运算符
由于Scala并没有真正的运算符,运算符其实是方法的一种形式,所以此处运算符的优先级,其实就是指方法的优先级。在Scala中方法的执行是有优先级的区别的,这也是为了解决传统运算符优先级问题。如果是复杂数据类型,比较的是对象的地址,如果不是想比较地址而是想比较真正的内容,则需要使用。,但是根据Scala特点,Scala中所有运算符其实就是方法,那么按照这种说法,表达式应该等同于。,前缀运算符如同中缀运算符一样,也是方法调用的另一种方式,不同的是,方法名要在符号前加上前缀。Scala中,如果是基本数据类型,原创 2023-02-23 09:41:44 · 215 阅读 · 2 评论 -
大数据处理学习笔记1.2 Scala变量与数据类型
定义变量需要初始化,否则会报错。注意:Java里可以先声明变量,然后再赋值定义变量时可以不指定数据类型,系统会根据初始化值推断变量的类型。注意:Java声明变量必须指定类型。原创 2023-02-23 09:08:29 · 105 阅读 · 0 评论 -
大数据处理学习笔记1.3 使用Scala集成开发环境
【代码】大数据处理学习笔记1.3 使用Scala集成开发环境。原创 2023-02-23 09:06:20 · 65 阅读 · 0 评论 -
大数据处理学习笔记1.1搭建Scala开发环境
Scala是Scalable Language的简写,是一门多范式的编程语言,由联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计,设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言,旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大,不仅可以编写简单脚本,还可以构建大型系统。原创 2023-02-16 10:52:40 · 374 阅读 · 0 评论