写在前面
写此文章主要是为了分享工作当中Druid遇到的一些问题,有不对之处还请指出一起讨论
踩坑整理
- java.sql.SQLException: Cannot create PoolableConnectionFactory: java.sql.SQLException: Access denied for user ‘user’@‘127.0.0.1’ (using password: YES)
1、 由于迁移了机器节点,Bns白名单没有随之加上导致的元数据库连接失败
2、还有一种可能是参数写错了,可以检查一下参数设置。比如说user写成了username之类 - overload出现一连串status的情况为fail的时候
解决思路
1、.$DRUID_PATH/bin/overload.sh status 查看overload是否running
2、 查看机器下overload.log => tail -100 $DRUID_PATH/log/overload.log,
3、分析是如何导致任务失败的,我这边碰到的是jvm爆了导致的,调大内存之后重启overload以及middleManager服务 - historical节点服务一直有segments处于loading状态,且不断增加数量
1、检查historical节点所在机器的historical.log日志: No space left on device
2、df -h 查看磁盘占用情况,把占用量接近百分百的清理一下
3、将${FILE}下的空间清理一下,并且设置一下配置文件
$DRUID_PATH/conf/druid/historical/runtime.properties
druid.segmentCache.locations=[{“path”:"{Your Path}",“maxSize”:11200000000,“freeSpacePercent”:20.0}] - 当出现如下问题时候:
1、 查看spark队列状态是否正常
2、队列是否有资源,是否空闲!如果比较慢尝试换队列或者资源占用量大的任务
后续碰到Druid的问题将持续更新