- 博客(4)
- 收藏
- 关注
原创 spark transformation算子 action算子 控制算子Chekpoint persist cache
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;public class SparkTest {public static void mai...
2019-04-17 22:37:19 289
原创 spark的wordcount-java版本与scala版本
scala版本package com.bjsxt.myscalacodeimport org.apache.spark.{SparkConf, SparkContext}object SparkWordCount {def main(args: Array[String]): Unit = {val conf = new SparkConf()conf.setMaster("loca...
2019-04-16 23:34:39 319
原创 快速排序初学笔记整理
package com.jzx.quicksort;public class TestQuckSort {public static void main(String[] args) { //输入数组 int[] arr = {67,35,68,79,62,1,45,8,10}; int low = 0; int high = arr.length-1; //打印原有数组 for ...
2019-04-16 00:43:17 124
原创 reduce源码分析
初学mapreduce源码分析reducereducetask.run();在类reducetask中run方法:由yarnchild调用run方法中:RawKeyValueIterator rIter = null;此类为迭代器reducer类中的reduce方法中参数(key , Iteractor values,context)中的 Iteractor values也是一个一个的ke...
2019-04-11 15:48:01 430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人