2016年06月_wisgood

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

转载【Scala】高阶函数和柯里化

高阶函数在数学和计算机科学中，高阶函数是至少满足下列一个条件的函数:- 接受一个或多个函数作为输入- 输出一个函数在数学中它们也叫做算子(运算符)或泛函。微积分中的导数就是常见的例子，因为它映射一个函数到另一个函数。高阶函数的例子假设有一个函数对给定两个数区间中的所有整数求和：def sumInts(a: Int, b: Int): Int = if(a > b)

2016-06-16 17:13:36 641

原创 Scala 无参数方法和统一访问原则

在 Scala 中当方法不需要接受参数时可定义成两种类型的方法1. def width(): Int 空括号方法(empty-paren method)2. def width: Int 无参数方法(parameterless method)从语法上讲，Scala 在调用上面那种类型的方法时都可以统一用 obj.width 的方式，实际对于无参数方法是只能用 obj

2016-06-05 16:45:47 2553

转载 Apache Spark探秘：实现Map-side Join和Reduce-side Join

在大数据处理场景中，多表Join是非常常见的一类运算。为了便于求解，通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多，一般我们会根据两表的数据特点选取不同的join算法，其中，最常用的两个算法是map-side join和reduce-side join。本文将介绍如何在apache spark中实现这两种算法。（1）Map-side Join

2016-06-03 15:27:09 660

转载 Spark—聚合操作—combineByKey

聚合操作——combineByKey当数据集一键值对形式组织的时候，聚合具有相同键的元素进行一些统计是很常见的操作。对于Pair RDD常见的聚合操作如：reduceByKey，foldByKey，groupByKey，combineByKey。这里重点要说的是combineByKey。在数据分析中，处理Key，Value的Pair数据是极为常见的场景，例如我们可以针对这样的数据进行分组、

2016-06-03 14:23:03 1127

转载 Lambda表达式详细总结

（一）输入参数在Lambda表达式中，输入参数是Lambda运算符的左边部分。它包含参数的数量可以为0、1或者多个。只有当输入参数为1时，Lambda表达式左边的一对小括弧才可以省略。输入参数的数量大于或者等于2时，Lambda表达式左边的一对小括弧中的多个参数质检使用逗号（,）分割。示例1下面创建一个Lambda表达式，它的输入参数的数量为0.该表达式将显示“This i

2016-06-01 22:20:31 4072