Kafka单机伪分布式安装

前提条件：安装好zookeeper

zooKeeper是作为分布式协调服务，是不需要依赖于Hadoop的环境，也可以为其他的分布式环境提供服务

解压

tar -zxvf zookeeper-3.4.5-cdh5.1.0.tar.gz
mv zookeeper-3.4.5-cdh5.1.0  /usr/local/cdh/zookeeper
 
 
1
2

配置

vim zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/cdh/zookeeper/data
dataLogDir=/usr/local/cdh/zookeeper/logs
clientPort=2181
 
 
1
2
3
4
5
6

配置解析： 
tickTime: zookeeper中使用的基本时间单位, 毫秒值. 
dataDir: 数据目录. 可以是任意目录. 
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置. 
clientPort: 监听client连接的端口号.

启动

sh $zookeeper_home/bin/zkServer.sh start
 
 
1

查看服务: 
jps 
5321 QuorumPeerMain 
5338 Jps 
查看运行状态: 
sh $zookeeper_home/bin/zkServer.sh status

/home/conan/zoo/zk0/zookeeper345/bin/../conf/zoo.cfg 
Mode: standalone

安装kafka

环境： 
centos 6.5 x64 
kafka_2.9.2-0.8.1.1

1.解压

tar -xzf kafka_2.9.2-0.8.1.1.tgz

2.配置

copy两个副本：

cp config/server.properties  config/server-1.properties
cp config/server.properties  config/server-2.properties
 
 
1
2

$kafka_home/config文件夹中配置下面几个文件：

vim server.properties

    broker.id=0
    port=9092
    log.dir=/tmp/kafka-logs-0
    host.name=cent
    zookeeper.connect=cent:2181
 
 
1
2
3
4
5

vim server-1.properties

    broker.id=1
    port=9093
    log.dir=/tmp/kafka-logs-1
    host.name=cent
    zookeeper.connect=cent:2181
 
 
1
2
3
4
5

vim server-2.properties

    broker.id=2
    port=9094
    log.dir=/tmp/kafka-logs-2
    host.name=cent
    zookeeper.connect=cent:2181
 
 
1
2
3
4
5

3.启动

要先启动zookeeper

sh $zookeeper_home/bin/zkServer.sh start
 
 
1

然后启动三个broker

bin/kafka-server-start.sh config/server.properties & 
bin/kafka-server-start.sh config/server-1.properties & 
bin/kafka-server-start.sh config/server-2.properties &

4.测试

创建一个拥有3个副本的topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
 
 
1

查看每个节点信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic个拥有3个副本的topic:
 
 
1

生产消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
 
 
1

*在停留的shell窗口中随便输入，按回车发送 
I’m kafka 
kafka helloworld*

消费消息：

bin/kafka-console-consumer.sh –zookeeper localhost:2181 –from-beginning –topic my-replicated-topic

结束