- 博客(3)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Spark 累加器注意点
注意点：存在多个action算子的时候，accumulator可能存在重复计算的情况 验证： 第一步先获取一个accumulator //accumulator LongAccumulator accum = sc.sc().longAccumulator(); 此时进行累加求和操作： JavaRDD<Integer> map = sc.parallelize(Array...
2018-11-09 17:59:19
537
原创 SimpleDateFormat在格式化大数据量的时间易出现线程问题
当数据量较大的时候，可能会出现传入处理参数与实际传入参数不一致的问题 此时看看SimpleDateFormat源码： 由此可知SimpleDateFormat非线程安全，可使用：FastDateFormat public static final FastDateFormat TIME_FORMAT = FastDateFormat.getInstance("yyyy...
2018-11-09 14:57:16
452
原创 org.apache.spark.SparkException: Task not serializable] with root cause
18/11/08 11:27:26 ERROR [dispatcherServlet]: Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.apache.spark...
2018-11-08 11:33:52
582
RapidMiner Studio.rar
2019-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人