- 博客(4)
- 收藏
- 关注
RSS订阅原创 Kafka监控-JMX自定义监控以及常用监控工具比较
目录：一、通过JMX自定义监控1、jconsole2、Java监控代码：二、Kafka三款监控工具比较（转载）1、Kafka Web Conslole2、Kafka Manager3、KafkaOffsetMonitor一、通过JMX自定义监控通过JMX监控可以看到的数据有：broker数据指标 topic数据指标 每个partition的数据指...
2019-03-20 18:19:52
5364
原创 Kafka架构、组件及核心概念
目录：一、什么是Kafka？ 1.1、为什么需要消息系统（MessageQueue） 1.2、常用Message Queue对比 1.3、Kafka优缺点：二、kafka架构 2.1 kafka组件说明： 2.2 kafka拓扑结构： 2.3 zookeeper 存储结构三、核心组件及概念 ...
2019-03-17 11:09:39
4667
原创 Flume自定义监控实现数据上报功能—Custom Reporting
1、flume监控背景 保证日志采集系统flume进程的稳定和出现问题后能及时修复，需对flume进程进行监控。flume目前提供的几种数据监控类型：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting等。 本文通过Custom Reporting实现自定义数据上报，代码实现并不复...
2019-03-11 19:14:26
1586
原创 Flume线上集群的吞吐量瓶颈排查及优化
记录一次flume线上环境的吞吐量瓶颈排查和解决方案。1、线上Flume集群架构简介Flume线上架构图如下：目前线上部署flume的服务器有六十台左右，主要分外网环境和内网环境，这些都是游戏的服务器集群，每个游戏的服务器集群可能单独有一套外网环境（包含flume跳板机）。外网环境A和内网环境B的flume都会往内网跳板机发送数据，分发方式是负载均衡模式，两个内网跳板机收集所有数据再发...
2019-03-11 11:49:11
2274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人