Spark
文章平均质量分 75
冰茶不冰
这个作者很懒,什么都没留下…
展开
-
Spark 求TopN的优化思路
Spark 求TopN的优化思路原创 2022-03-26 21:20:00 · 2220 阅读 · 0 评论 -
Scala 函数式编程
1 引入随着大数据时代的到来,函数式编程开始迅速崛起,因为,函数式编程可以较好满足分布式并行编程的需求(函数式编程一个重要特性就是值不可变性,这对于编写可扩展的并发程序而言可以带来巨大好处,因为它避免了对公共的可变状态进行同步访问控制的复杂问题)。2 函数定义2.1 函数字面量在非函数式编程语言里,函数的定义包含了“函数类型”和“值”两种层面的内容。但是,在函数式编程中,函数是“头等公民”,可以像任何其他数据类型一样被传递和操作,也就是说,函数的使用方式和其他数据类型的使用方式完全一致了。这时,我们原创 2022-03-06 18:41:44 · 579 阅读 · 0 评论 -
Scala 面向对象
1 权限修饰符如果字段前面什么修饰符都没有就默认是public,外部可以访问该字段。对于类而言,我们并不需要声明为public,Scala文件中包含的多个类之间,都是彼此可见的。2 方法方法定义:def functionName ([参数列表]) : [return type] = { // 方法主体}如果你不写等于号和方法主体,那么方法会被隐式声明为抽象(abstract)在Scala中不返回任何值,那么就用Unit表示方法的返回值,不需要靠return语句,方法里面的最后一个表达式原创 2022-03-06 16:41:29 · 1973 阅读 · 0 评论 -
Scala 基础语法
由于学习Spark需要用到Scala,这里记录一下Scala的一些基础语法。注意:Scala 行末不需要加分号1 变量类型val,是不可变的,在声明时就必须被初始化,而且初始化以后就不能再赋值var,是可变的,声明的时候需要进行初始化,初始化以后还可以再次对其赋值。2 基本数据类型包括Byte、Char、Short、Int、Long、Float、Double和Boolean。和Java不同的是,在Scala中,这些类型都是“类”。3 字面量包括整数字面量、浮点数字面量、布尔型字面量、原创 2022-03-06 16:13:01 · 314 阅读 · 0 评论