- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 自定义 Spark application 监听器进行task异常处理 JAVA版
最近要截取sparkHistory里面application的运行日志，发现task级别的某些日志拿不到，后来想了个办法搞监听器，然后一点点学习，将经验记录下来。在spark程序中，task有失败重试机制（根据 spark.task.maxFailures 配置，默认是4次），当task执行失败时，并不会直接导致整个应用程序down掉，只有在重试了 spark.task.maxFailures ...
2019-02-15 16:25:12
1430
原创 impala故障（cdh5.15.1版本）
今天碰到一个很奇怪的问题，impala查询34亿条数据报错，不过多亏网上有神仙相助，少了一个插件，具体原因有待思考，，，问题是原创的，解决方案是大神提供的[cdh004:21000] > select count(*) from impala_100yi;Query: select count(*) from impala_100yiQuery submitted at: 2019-...
2019-02-14 16:11:02
1675
1
SSO单点登录
2016-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人