码蹄疾

1.自身日志量过大的问题kafka运行一段时间之后，会发现它的主机磁盘使用率在缓慢增长，查看数据日志的持有量还是之前设置的阈值。 这时候其实是kafka自身的日志打印撑爆磁盘。 默认的~/kafka_2.11-0.9.0.0/config/log4j.properties如下：log4j.rootLogger=INFO, stdout log4j.appender.stdout=org

为什么要封装kafka官方自带的客户端，需要对参数进行设置，如下代码，很多参数的key都是字符串，这样对于编程人员来说非常不友好。参数很多的时候，有两种处理方式：（1）传一个config类进去解析；（2）使用建造者模式，笔者在此就使用建造者模式，对官方客户端进行简单封装，使之易用。客户端封装demo官方的例子如下：Properties props = new Properties(); props

背景起源于Linkedin，在apache开源，基于发布订阅的分布式消息系统。特点高吞吐量：单机每秒几百MB的读写 消息持久化 高扩展性 高可靠性 支持多消费者（这个是比较重要的特点）拓扑结构Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker Producer: 负责发布消息到Kafka broker Consumer: 消息消费者，向Kafka