2016年12月_煉心_

12月 11月 10月 09月

原创 Spark编程指南入门之Java篇三-常用Transformations操作

7. 常用的转换Transformations操作JavaRDD map(Function f) 将数据集的每一个元素按指定的函数f转换为一个新的RDDJavaRDD filter(Function f) 对数据集中的元素进行过滤，将符合指定函数f条件的元素组成为一个新的RDDJavaRDD flatMap(FlatMapFunction f) 类似于map，但不同的是每个

2016-12-28 16:20:18 2103

原创 Spark编程指南入门之Java篇二-基本操作

4. RDD的操作4.1 基本操作RDD有2种类型的操作，一种是转换transformations，它基于一个存在的数据集创建出一个新的数据集；另一种是行动actions，它通过对一个存在的数据集进行运算得出结果。例如，map方法是转换操作，它将数据集的每一个元素按指定的函数转换为一个新的RDD；reduce方法是行动操作，它将数据集的所有元素按指定的函数进行聚合运算得出结果给驱动

2016-12-27 16:03:12 4757 2

原创 Spark编程指南入门之Java篇一-基本知识

1. Spark的Java开发包Spark提供Java的开发包，当前最新版本是2.0.2版本：spark-core_2.11-2.0.2.jar，可以从下面链接下载：http://central.maven.org/maven2/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar或者通过Maven

2016-12-16 16:27:38 26097 6

原创 Java7之try-with-resources语句自动关闭资源

1. 使用finally关闭资源在Java 7之前，如果要关闭一个资源的话，可以使用finally语句，不管try语句里面的代码是否正常执行完毕或出现异常，例如：static String readFirstLineFromFileWithFinallyBlock(String path) ...

2016-12-09 11:48:23 1222

spark-core_2.11-1.5.2.logging.jar

spark-core_2.11-2.0.0.jar比spark-core_2.11-1.5.2.jar少了org.apache.spark.Logging.class，故此把缺少的class放到spark-core_2.11-1.5.2.logging.jar里面

2016-11-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人