java
张超_
这个作者很懒,什么都没留下…
展开
-
java 用递归实现球上下级(牵涉到对上级的去重)
1:最近遇到一个问题需要用到SparkStreaming 算出某个角色的所有的上级,同时当上级的等级相同的时候需要去重。我想到了用递归去实现数据描述:自己的id, 等级, 父节点的id。数据呈现为树结构package org.training.shiyanlou; import java.lang.reflect.Array; import java.util.ArrayList; import...原创 2018-02-03 17:43:38 · 4131 阅读 · 0 评论 -
如何优雅的停止Spark Streaming 作业 -----非手动
#一 网上也有停止SparkStreaming作业的方法,但是都不够优雅,不能够从程序内部实现停止SparkStreaming作业。我来介绍一种优雅的方式。##1:思路 1: 程序出现异常后打一个标记,标记存放在可靠的外部系统如hdfs、redis等。2:Driver 不断重复扫描标记,判断是否需要停止作业。3: 把ssc.awaitTermination() 替换为 ssc.awaitTermi...原创 2018-04-11 20:07:34 · 4156 阅读 · 0 评论