kafka
liangzelei
这个作者很懒,什么都没留下…
展开
-
Kafka概述
Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一...原创 2018-05-17 08:49:48 · 201 阅读 · 0 评论 -
kafka集群部署
1)解压安装包[lzl@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称[lzl@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka3)在/opt/module/kafka目录下创建logs文件夹[lzl@hadoop102 kafka]...原创 2018-05-17 13:31:08 · 118 阅读 · 0 评论 -
Kafka命令行操作
1)查看当前服务器中的所有topic[lzl@hadoop102 kafka]$ bin/kafka-topics.sh--zookeeper hadoop102:2181 --list2)创建topic[lzl@hadoop102kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create--replication-factor ...原创 2018-05-17 13:35:50 · 598 阅读 · 0 评论 -
Kafka API实操
创建生产者import java.util.Properties;import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import...原创 2018-05-17 13:49:12 · 308 阅读 · 0 评论 -
Kafka Consumer的两种接口(高阶低阶)
Kafka Consumer接口对于kafka的consumer接口,提供两种版本, high-level一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset参考,https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Gro...转载 2018-07-25 10:00:45 · 4647 阅读 · 1 评论 -
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
一、kafka replica当某个topic的replication-factor为N且N大于1时,每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数,也就是说,对于每个Partition而言,每个Broker上最多只会有一个Replica,因此可以使用Broker id 指...转载 2018-07-25 14:10:13 · 2989 阅读 · 0 评论