Kafka
文章平均质量分 64
RangeYan2012
欢迎大家与我交流技术问题!我的QQ:332478640
展开
-
kafka入门教程
问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是转载 2015-12-24 17:46:12 · 1432 阅读 · 0 评论 -
kafka运维--集群扩容后手动Rebalance topic
kafka运维--集群扩容后手动Rebalance topic原创 2016-11-18 17:22:56 · 5378 阅读 · 0 评论 -
kafka参数配置优化
#非负整数,用于唯一标识brokerbroker.id=0# broker 服务监听端口port=9092# broker 发布给生产者消费者的hostname,会存储在zookeeper。配置好这个host可以实现内网外网同时访问。advertised.host.name=host1# broker 发布给生产者消费者的port,会存储在zooke原创 2016-11-30 18:19:08 · 9849 阅读 · 0 评论 -
Kafka踩坑 - Couldn't find leaders for Set
SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常:org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是Spark找不到partition的Leader。查看监控后发现,在异常发生的时间点原创 2017-01-03 15:50:21 · 15180 阅读 · 3 评论 -
kafka运维--增加topic备份因子
上篇文章将了怎样优化kafka配置,其中提到了kafka集群topic的默认备份因子参数default.replication.factor。如果想针对某一个或者多个topic,增加备份因子参照下面步骤进行。1. 创建一个需要增加备份因子的topic列表的文件,文件格式是json格式的(跟【kafka运维--集群扩容后手动Rebalance topic】文章中rebalan原创 2016-12-20 12:09:31 · 4791 阅读 · 1 评论 -
kafka leader选举机制原理
kafka在所有broker中选出一个controller,所有Partition的Leader选举都由controller决定。controller会将Leader的改变直接通过RPC的方式(比Zookeeper Queue的方式更高效)通知需为此作出响应的Broker。同时controller也负责增删Topic以及Replica的重新分配。当有broker fari over contr原创 2017-02-06 17:22:50 · 54474 阅读 · 4 评论 -
Apache kafka 设计与实现
一、 设计 kafka设计目标是实现一个高吞吐量的,低延迟的,实时数据处理的统一平台。在设计的时候从以下几个方面做了优化。1. 数据持久化Kafka直接将数据写到了文件系统的日志中,依赖操作系统的page cache 实现read-ahead 和 write-behind。这样做的好处是读和写都是 O(1) 的,并且读操作不会阻塞写操作和其他操作2. 消息传输的原创 2017-01-18 12:06:01 · 891 阅读 · 0 评论 -
Kafka 高性能吞吐揭秘
A high-throughput distributed messaging system.--Apache KafkaKafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单转载 2017-02-09 11:22:44 · 2252 阅读 · 0 评论