kafka
一只土肥圆的猿
我是谁?我在哪?
-- 起来写代码!!!
展开
-
大数据架构:Kafka
Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统,利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费KAFKA: 分布式的发布-订阅消息系统,主要用于处理活跃的数据 特点:高吞吐量: 每秒百万级别的生产消费----生产消费 持久性: 由完善的消息存储机制,确保数据...原创 2018-03-06 14:53:01 · 4116 阅读 · 0 评论 -
Kafka消费者Heartbeat分析
消费者会定期向GroupCoordinator发送HeartbeatRequest来确定 彼此在线,也就是说告诉GroupCoordinator我还活着,或者也判断GrooupCoordinator是否还活着 HeartbeatRequest的组成:它是由groupId,generationId,memberId.HeartbeatResponse组成:它只有一个errorCodeHeartbea...转载 2018-05-18 14:24:29 · 5045 阅读 · 0 评论 -
kafka监控工具KafkaOffsetMnitor配置、使用
先下载编译好的KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar地址:点击进入将此jar包上传服务器编写脚本 kafkaMonitor_start.sh:(脚本要和jar包放在同一个目录下)java -cp KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar \ com.quantifind.kafka....原创 2018-05-22 10:36:37 · 408 阅读 · 0 评论 -
kafka 0.10发送、接收大消息解决办法
配置三个地方: Broker: message.max.bytes and replica.fetch.max.bytes Producer: max.request.size Consumer: max.partition.fetch.bytes注意: message.max.bytes必须小于等于replica.fetch.max.bytes...原创 2018-07-02 15:15:21 · 1892 阅读 · 0 评论 -
Flume增量采集mysql数据库数据到HDFS、Kafka
软件版本号 jdk1.8、apache-flume-1.6.0-bin、kafka_2.8.0-0.8.0、zookeeper-3.4.5 需要向apache-flume-1.6.0-bin/lib 放入两个jar包 flume-ng-sql-source-1.3.7.jar -->flume的mysql source 下载地址: https://github.com/keedio/...原创 2018-07-26 17:20:48 · 4772 阅读 · 15 评论