kafka集群的搭建

搭建kafka集群需要先搭建zookeeper集群

一：搭建zookeeper集群

安装步骤：
1.安装配置zooekeeper集群（在hadoop05上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
在最后添加：
server.1=hadoop05:2888:3888
server.2=hadoop06:2888:3888
server.3=hadoop07:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-3.4.5/tmp
echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)
scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop07:/home/hadoop/app/

注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.5/tmp/myid内容
hadoop06：
echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
hadoop07：
echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2：启动zookeeper集群

启动zookeeper集群（分别在hadoop05、hadoop06、tcast07上启动zk）
cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

注意：如果配置了zookeeper的环境变量就不需要“./"，直接执行命令

二：搭建kafka集群

2.1、下载安装包

http://kafka.apache.org/downloads.html

在linux中使用wget命令下载安装包

  wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

2.2、解压安装包

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -C /export/servers/

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

2.3、修改配置文件

cp   /export/servers/kafka/config/server.properties

/export/servers/kafka/config/server.properties.bak

vi  /export/servers/kafka/config/server.properties

输入以下内容：

特别注意这个地方，上面图片没有！listeners=PLAINTEXT://172.16.49.173:9092 要加上listeners的IP或者主机名称，如果节点是主机名称，要修改为

主机名称，如果是IP，则写上节点IP。如果不配置这个地方就会报错，报错信息如下：

1:kafka异常：

org.apache.kafka.common.KafkaException: Failed to construct kafka producer
        at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:321)
        at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:181)
        at kafka.producer.NewShinyProducer.<init>(BaseProducer.scala:36)
        at kafka.tools.ConsoleProducer$.main(ConsoleProducer.scala:46)
        at kafka.tools.ConsoleProducer.main(ConsoleProducer.scala)
Caused by: org.apache.kafka.common.config.ConfigException: DNS resolution failed for url in bootstrap.servers: kafka01:9092
        at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:48)
        at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:269)
        ... 4 more

2.4、分发安装包

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

然后分别在各机器上创建软连

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

2.5、再次修改配置文件（重要）

依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

2.6、启动集群

依次在各节点上启动kafka

bin/kafka-server-start.sh  config/server.properties

(说明：配置好/etc/profile的环境变量以后，source生效，执行下面命令就行

 kafka-server-start.sh /home/hadoop/app/kafka/kafkaMapping/config/server.properties） 

三、 Kafka常用操作命令

l 查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper  zk01:2181

l 创建topic

bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 1 --topic test

l 删除topic

sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

l 通过shell命令发送消息

kafka-console-producer.sh --broker-list kafka01:9092 --topic itheima

l 通过shell消费消息

sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

l 查看消费位置

sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

l 查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

l 对分区数进行修改

kafka-topics.sh --zookeeper  zk01 --alter --partitions 15 --topic   utopic