kafka
TIMI-Nian
这个作者很懒,什么都没留下…
展开
-
Kafka学习笔记(一) —— 初识
1. kafka的使用场景上游模块或系统产生数据,下游模块或系统使用数据、分析数据、计算数据,这样的就可以使用消息系统。 我个人认为就是,可以异步处理,一个管生产、一个管消费,关系基本稳定不会倒置,就可以使用消息系统。 还有一种场景就是,把数据放到消息中间件里存放,不存放在数据库里。这些数据顺序存在消息中间件,反而比存在数据库随机读写效率要快。kafka现在可以和Apache flum...原创 2018-05-14 22:23:46 · 539 阅读 · 0 评论 -
kafka集群搭建
前提:1)已经下载了kafka的安装包,并上传到服务器,解压,2)已经安装了zookeeper集群,参考(还不能看到)1.修改 server.properties############################# Server Basics ############################## The id of the broker. This must ...原创 2018-05-15 22:21:48 · 184 阅读 · 0 评论 -
kafka如何扩容服务器、重新分区Partition
1. 扩容在新的物理机上安装kafka程序,修改config/server.properties文件里的broker.id必须在集群中唯一,修改其他必要的配置项,其中zookeeper.connect配置项,写上kafka集群现在使用的zookeeper集群的地址。 然后启动kafka就可以加入到集群中了。 但是新加入的机器只能对新产生的topic起作用,对已有的topic在没有做处理前,...原创 2018-05-22 21:52:43 · 12500 阅读 · 1 评论 -
Kafka主要配置
1. Broker配置参数 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录。 port 9092 BrokerS...原创 2018-05-23 20:12:01 · 246 阅读 · 0 评论