- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark transformation算子 action算子 控制算子Chekpoint persist cache
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import java.util.Arrays; public class SparkTest { public static void mai...
2019-04-17 22:37:19
271
原创 spark的wordcount-java版本与scala版本
scala版本 package com.bjsxt.myscalacode import org.apache.spark.{SparkConf, SparkContext} object SparkWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("loca...
2019-04-16 23:34:39
307
原创 快速排序初学笔记整理
package com.jzx.quicksort; public class TestQuckSort { public static void main(String[] args) { //输入数组 int[] arr = {67,35,68,79,62,1,45,8,10}; int low = 0; int high = arr.length-1; //打印原有数组 for ...
2019-04-16 00:43:17
108
原创 reduce源码分析
初学mapreduce源码分析 reduce reducetask.run(); 在类reducetask中run方法：由yarnchild调用 run方法中：RawKeyValueIterator rIter = null;此类为迭代器reducer类中的reduce方法中参数（key ， Iteractor values，context）中的 Iteractor values也是一个一个的ke...
2019-04-11 15:48:01
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人