kafka安装及配置-集群（转）

kafka集群安装及配置主要包括两种，一种是在单机上通过配置多个broker来实现，一种在多个服务器上分别安装kafka来实现。

一、单机多broker方式

        配置      

在安装好kafka后（安装方式见http://blog.csdn.net/yongge1981/article/details/78895893），将conf目录下的server.properties拷贝多份，这里一种拷贝两份分别命名为server1.properties，server2.properties，并修改这两份文件，主要包括：broker.id，port和log.dir，分别设置成不同的值，具体配置如下：

server.properties的内容如下:

broker.id=0

port=9092

log.dir=/usr/local/kafka2111/log

server1.properties的内容如下：

broker.id=1

port=9093

log.dir=/usr/local/kafka2111/log1

server2.properties的内容如下：

broker.id=2

port=9094

log.dir=/usr/local/kafka2111/log2

启动

首先启动zookeeper，这里是一个单机版的zookeeper。

在kafka目录下，分别执行如下命令：

./bin/kafka-server-start.sh conf/server.properties

./bin/kafka-server-start.sh conf/server1.properties

./bin/kafka-server-start.sh conf/server2.properties

注：上述操作都是以root用户来执行的。

创建一个topic，包含有两个Partition分区和2个备份的broker：

./bin/kafka-topic.sh  --create --zookeeper xhp1:2181 --replica 2 --partition 2 --topic singledistribute

启动Producer发送消息，定义一个发送给多个broker的Producer，既要在broker-list属性中指定要连接的broker：

./bin/kafka-console-producer.sh --broker-list xhp1:9092,xhp1:9093,xhp1:9094 --topic singledistribute

如果我们要让不同的Producer发送给不同的broker，我们也仅仅需要为每个Producer配置相应的broker-list属性即可。

启动一个消费者来消费消息：

./bin/kafka-console-consumer.sh --zookeeper xhp1:2181 --topic singledistribute --from-beginning

二、多机版配置

首先，安装并配置好分布式的zookeeper服务器，参见http://blog.csdn.net/yongge1981/article/details/78894715。

然后，配置好单机版之后，将kafka拷贝到其它多台服务器上，修改每台服务器上kafka的server.properties文件：

1. 修改broker.id的值，使每台服务器上kafka具有不一样的值；

2. 修改zookeeper.connect的值，基本是每台zookeeper服务器的地址及服务端口号，比如192.168.46.101:2181

启动

首先，启动zookeeper服务，每个节点依次启动；

其次，启动kafka服务器，也是每台节点依次启动。

操作方式类似单机分布式版。

来源：http://blog.csdn.net/minicto/article/details/53911418等

http://blog.csdn.net/suifeng3051/article/details/38321043