![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
i_m_jack
这个作者很懒,什么都没留下…
展开
-
Spark之UpdateStateByKey算子
作用:全局计数在简单Spark Streaming上开启checkpoint机制,很简单,只要调用jssc的checkpoint()方法,设置一个hdfs目录即可 jssc.checkpoint("hdfs://master:9000/wordcount_checkpoint"); updateStateByKeypublic Optional<Integer>...原创 2019-05-29 20:48:27 · 511 阅读 · 0 评论 -
Spark算子:RDD键值转换操作(5)–leftOuterJoin、rightOuterJoin、subtractByKey
http://lxw1234.com/archives/2015/07/386.htm转载 2019-06-01 15:27:24 · 124 阅读 · 0 评论 -
深入理解groupByKey、reduceByKey区别——本质就是一个local machine的reduce操作
深入理解groupByKey、reduceByKey区别——本质就是一个local machine的reduce操作下面来看看groupByKey和reduceByKey的区别: val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(con...转载 2019-05-26 21:55:16 · 185 阅读 · 0 评论 -
spark map函数中使用println无法输出
// 每个点为hardData中的一个Array val hardData = spark.read.textFile(args(0)).rdd .map(_.split(" ").map(_.toDouble).toArray) .cache() hardData.map(a => println(a(0).toString + " " + a(...转载 2019-05-26 12:12:38 · 2947 阅读 · 2 评论 -
Spark API 之 cogroup 使用
https://blog.csdn.net/qq_29499107/article/details/80733808返回一个Tuple2<Iterable, Iterable>转载 2019-05-16 19:13:38 · 160 阅读 · 0 评论