- 博客(2)
- 收藏
- 关注
原创 大数据优化方向
系统监控机器CPU,内存,硬盘容量,磁盘间平衡,网卡出入流量o 服务消费延迟/积压,数据流量速率,数据压缩,consumer_group注册报备kafka二次开发消费Consumer SDK封装,自动更新集群配置,系统迁移对用户透明。o Partition Migration Tool开发,避免大批量Partition迁移导致网络风暴和服务波动。o 数据流量波动监控hadoop存在的问题o HDFS单Namenode压力大,响应慢,Callqueuelength高 o 队列分配混乱
2021-03-31 11:09:49
112
原创 jvm 内存扩增,代码定位,一种解决思路
内存扩增,代码定位,一种解决思路1、命令查看内存中对象的数量jmap -dump:live,format=b,file=heap-dump.bin2、jhat命令分析hprof文件经过漫长的等待后,出现Started HTTP server on port 7000信息时,咱们就可以使用IP+port进行访问了jhat -J-Xmx9999M heap.hprof1、查看分析hprof文件,发现内存占用量过大的对象为ConcurrentHashMap。2、通过jhat查看ConcurrentH
2020-10-23 17:21:43
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人