- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 Spark编程指南入门之Java篇三-常用Transformations操作
7. 常用的转换Transformations操作JavaRDD map(Function f) 将数据集的每一个元素按指定的函数f转换为一个新的RDDJavaRDD filter(Function f) 对数据集中的元素进行过滤,将符合指定函数f条件的元素组成为一个新的RDDJavaRDD flatMap(FlatMapFunction f) 类似于map,但不同的是每个
2016-12-28 16:20:18 2122
原创 Spark编程指南入门之Java篇二-基本操作
4. RDD的操作4.1 基本操作RDD有2种类型的操作,一种是转换transformations,它基于一个存在的数据集创建出一个新的数据集;另一种是行动actions,它通过对一个存在的数据集进行运算得出结果。例如,map方法是转换操作,它将数据集的每一个元素按指定的函数转换为一个新的RDD;reduce方法是行动操作,它将数据集的所有元素按指定的函数进行聚合运算得出结果给驱动
2016-12-27 16:03:12 4833 2
原创 Spark编程指南入门之Java篇一-基本知识
1. Spark的Java开发包Spark提供Java的开发包,当前最新版本是2.0.2版本:spark-core_2.11-2.0.2.jar,可以从下面链接下载:http://central.maven.org/maven2/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar或者通过Maven
2016-12-16 16:27:38 26178 6
原创 Java7之try-with-resources语句自动关闭资源
1. 使用finally关闭资源在Java 7之前,如果要关闭一个资源的话,可以使用finally语句,不管try语句里面的代码是否正常执行完毕或出现异常,例如:static String readFirstLineFromFileWithFinallyBlock(String path) ...
2016-12-09 11:48:23 1265
spark-core_2.11-1.5.2.logging.jar
2016-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人