Spark大数据处理
文章平均质量分 85
人生苦短@我用python
人生苦短 我用python
展开
-
Spark大数据处理学习笔记2.1 初识Spark
Spark在2013年加入Apache孵化器项目,之后获得迅猛的发展,并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎,它是基于内存计算的大数据并行计算框架,适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。原创 2023-06-13 19:56:22 · 979 阅读 · 0 评论 -
Spark大数据处理学习笔记1.5 掌握Scala内建控制结构
for (变量原创 2023-06-13 19:45:46 · 1649 阅读 · 0 评论 -
Spark大数据处理学习笔记1.4 掌握Scala运算符
例如:3 + 2 * 5,我们期望获得的是13,但是根据Scala特点,Scala中所有运算符其实就是方法,那么按照这种说法,表达式应该等同于(3).+(2) 得到5,(5).*(5) 得到25,与我们的预期不符!由于Scala并没有真正的运算符,运算符其实是方法的一种形式,所以此处运算符的优先级,其实就是指方法的优先级。Scala中,如果是基本数据类型,==与!-1等同于1.unary_-,前缀运算符如同中缀运算符一样,也是方法调用的另一种方式,不同的是,方法名要在符号前加上前缀unary_。原创 2023-06-12 19:18:29 · 1591 阅读 · 4 评论 -
Spark大数据处理学习笔记1.3 使用Scala集成开发环境
1.会搭建Scala的IntelliJ IDEA开发环境。2.会在集成开发环境里创建Scala项目。原创 2023-06-12 19:09:26 · 672 阅读 · 0 评论 -
Spark大数据处理学习笔记1.2 Scala变量与数据类型
学习目标1.学会变量声明2.掌握数据类型原创 2023-06-06 10:31:10 · 453 阅读 · 4 评论 -
Spark大数据处理学习笔记1.1 搭建Scala开发环境
Scala是Scalable Language的简写,是一门多范式的编程语言,由联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计,设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言,旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大,不仅可以编写简单脚本,还可以构建大型系统。原创 2023-06-06 08:58:01 · 393 阅读 · 0 评论