故障排查
define_us
互联网编程/架构设计/数学崇拜
展开
-
JStorm出现com.lmax.disruptor.InsufficientCapacityException异常
出现如下异常 [WARN 2018-08-29 10:12:07 TaskHeartbeatTrigger:118 run pool-6-thread-2] Failed to publish timer event to {topo_name}:47_taskHeartbeatshade.storm.com.lmax.disruptor.InsufficientCapacityEx...原创 2018-08-29 14:24:05 · 1446 阅读 · 0 评论 -
Tomcat服务故障排查:打开文件过多
现象lsof -p 进程号后出现一堆sock类型的文件。超过了ulimit的限定值。导致一些请求处理失败。java 26851 jboss5 *165u sock 0,7 0t0 207976628 protocol: TCPv6java 26851 jboss5 *166u sock 0...原创 2018-12-11 10:24:51 · 7849 阅读 · 5 评论 -
Kafka增加Replica的办法
挺麻烦的,还是建议在建立topic时提前规划好手动写assign json{ "partitions": [ { "topic": "TEST", "partition": 0, "replicas": [0,1] }, { "topic": "TEST", "partition": 1, "replicas&qu原创 2018-10-30 11:29:55 · 1152 阅读 · 0 评论 -
JSTORM问题排查——Cann't download code for storm id
现象同事windows电脑上的storm工程没办法正常运行lowing topologys is going to re-download the jars, [test-1-1540444367]- Downloading code for storm id test-1-1540444367 from C:\Users\Magnum\AppData\Local\Temp\\b4ea59e...原创 2018-10-25 15:49:35 · 683 阅读 · 0 评论 -
Solr的OOM问题排查
现象SOLR启动十几分钟后触发OOM脚本退出。日志显示重启后SOLR在进行replay以前的tlog操作。排查solr的启动脚本如下/usr/java/jdk1.8.0_102/bin/java -server -Xms1024m -Xmx4096m -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:Max...原创 2018-10-22 14:25:46 · 1533 阅读 · 0 评论 -
Storm初始化时抛出NotSerializableException
启动topo抛出如下异常:Exception in thread "main" java.lang.IllegalStateException: Spout 'DetrUpdateEvent' contains a non-serializable field of type com.gdl.trolley.stormclient.TrolleySpout$StormMessageListne...原创 2018-08-30 09:50:59 · 832 阅读 · 0 评论 -
JStorm ProcessLauncher进程不退出的问题
使用jstack工具,观察程序卡死位置。"main" #1 prio=5 os_prio=0 tid=0x00007fc93c00a000 nid=0x7db9 runnable [0x00007fc9438fb000] java.la原创 2018-09-04 10:31:08 · 1178 阅读 · 1 评论 -
解决Maven无法下载源代码包的问题
首先尝试使用mvn dependency:resolve -Dclassifier=sources -X根据日志,发现使用的是本地代码仓库而非线上的maven。检查本地目录,发现确实没有source的jar包。 然后发现jar包开发时配置错误 <plugin> <artifactId>maven-s...原创 2018-08-24 09:41:15 · 10330 阅读 · 0 评论 -
JStorm端口被占用无法启动的问题
Jstorm出现端口被占用,worker无法启动。 核实端口是否真的被占用。这里需要root权限才能找到占用端口的进程究竟是谁。[root@k3815238693-3 ~]# netstat -apn|grep 6802tcp6 0 0 :::6802 :::* LISTEN 13...原创 2018-08-29 14:25:00 · 759 阅读 · 0 评论 -
因为延迟执行引起的一次内存泄漏的排查
还是按照常规思路,先查GC日志,定位为缓慢累计的内存泄露问题。然后把dump文件加载出来,最后的结果如下两个关于线程池的类的对象和一个关于业务代码的内部类。很快定位到了如下代码 getScheduledThreadPoolExecutor().scheduleWithFixedDelay(new Runnable() { @Override ...原创 2019-02-13 09:45:13 · 1985 阅读 · 1 评论