2018年01月_breeze_lsw

12月 11月 10月 09月 08月 04月 01月

原创 ScheduledThreadPoolExecutor 定时调度

定时器中 Timer 有单线程等缺陷，quartz依赖太重，用 ScheduledThreadPoolExecutor 又想实现定时调度，实现一个工具类计算初次调度时间即可。 import java.util.concurrent._ val task = new Runnable { override def run(): Unit = try { doSometh

2018-01-18 23:09:42 819

原创 hdfs exceeded directory item limit

报错提示：错误原因：一个目录下的子目录数量达到限制，默认的上限是 1048576。每次执行hive语句时，都会在 hive.exec.scratchdir 配置的目录下生成一个临时目录，执行结束后会自动删除，如果异常中断则有可能会保留目录。提供两种解决办法：提高目录的限制上限，通过 dfs.namenode.fs-limits.max-directory-items 参数

2018-01-15 22:57:22 2581

spark_prometheus_metrics.json

博客https://blog.csdn.net/lsshlsw/article/details/82670508 spark_prometheus_metrics.json

2018-09-13

scala for spark

因为spark是用scala编写的，这里做了点总结，方便看spark源码。

2014-09-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人