![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 51
码蹄疾
小米广告平台服务端开发。曾求学于哈尔滨工业大学,小米广告平台第3代引擎开发者,擅长java、计算广告、分布式、并发等多个领域。
展开
-
kafka运维总结
1.自身日志量过大的问题kafka运行一段时间之后,会发现它的主机磁盘使用率在缓慢增长,查看数据日志的持有量还是之前设置的阈值。 这时候其实是kafka自身的日志打印撑爆磁盘。 默认的~/kafka_2.11-0.9.0.0/config/log4j.properties如下:log4j.rootLogger=INFO, stdout log4j.appender.stdout=org原创 2017-04-16 16:17:51 · 2793 阅读 · 0 评论 -
kafka客户端封装
为什么要封装kafka官方自带的客户端,需要对参数进行设置,如下代码,很多参数的key都是字符串,这样对于编程人员来说非常不友好。参数很多的时候,有两种处理方式:(1)传一个config类进去解析;(2)使用建造者模式,笔者在此就使用建造者模式,对官方客户端进行简单封装,使之易用。客户端封装demo官方的例子如下:Properties props = new Properties(); props原创 2017-04-16 16:28:55 · 3412 阅读 · 0 评论 -
kafka简介
背景起源于Linkedin,在apache开源,基于发布订阅的分布式消息系统。特点高吞吐量:单机每秒几百MB的读写 消息持久化 高扩展性 高可靠性 支持多消费者(这个是比较重要的特点)拓扑结构Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker Producer: 负责发布消息到Kafka broker Consumer: 消息消费者,向Kafka原创 2017-04-16 16:38:46 · 537 阅读 · 0 评论