Centos下 安装和测试kafka

系统Centos6.5

工具SecureCRT

1.首先下载kafka压缩包

kafka_2.9.2-0.8.1.1.tgz

解压

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

 

2.修改配置文件

首先要有zookeeper ，安装zookeeper 步骤在另外一随笔里 http://www.cnblogs.com/yovela/p/5178210.html

学到一个新命令：cd XXXX && ls就能进入同时查看文件目录

2.1.修改zookeeper.properties

vi config/zookeeper.properties

dataDir=/usr/program/zoopkeeper/zookeeper-3.4.5/tmp
clientPort=2181
maxClientCnxns=0

基本修改dataDir就可以了，其他的不要改，不记得了又要回来看

2.2.修改server.properties

vi server.properties

host.name=ip

log.dirs=/usr/program/kafka/kafka_2.9.2-0.8.1.1/kafka-logs

基本改这两个就可以了

2.3.修改/etc/hosts

如果报unknownhostException,就去修改这里

vi /etc/hosts

在最下面加上

ip    用户名

ip是主机ip，用户名是@符号后面跟着的那个

3.启动 与 测试

3.1启动zookeeper服务

在kafka目录下

[root@bogon kafka_2.9.2-0.8.1.1]# bin/zookeeper-server-start.sh config/zookeeper.properties &

回车后等它跑完，按回车即可，这时用jps查看，可以看到QuorumPeerMain，说明zookeeper启动好了

3.2 启动kafka服务

[root@bogon kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server.properties &

回车后等它跑完（会有两次输出，等待片刻），按回车即可，这时用jps查看，可以看到kafka，说明kafka启动好了

3.3创建topic

bin/kafka-topics.sh --zookeeper bogon:2181 --topic mytopic --replication-factor 1 --partitions 1 --create

bogon是我的host名，mytopic是topic名

回车后等待片刻

最后会打出一句INFO Closing socket connection toXXXXXXX

不要慌，正常的

3.4

查看刚刚新建topic

bin/kafka-topics.sh --zookeeper bogon:2181 --list

输出如上，在中间有 列出，最开始没注意到，当时还以为 出错了。。。。。。。

3.5运行producer

输入hello kafka后按回车

bin/kafka-console-producer.sh --broker-list bogon:9092 --topic mytopic  
hello kafka

3.6运行customer

SecureCRT新开一个会话，连接到这台服务，同样进入kafka的目录

bin/kafka-console-consumer.sh --zookeeper bogon:2181 --topic mytopic --from-beginning 

回车后可以看到刚刚的hello kafka

ps:异常处理

报异常：

Failed to load class "org.slf4j.impl.StaticLoggerBinder"

解决方法：

下载slf4j-1.7.6.zip
wget http://www.slf4j.org/dist/slf4j-1.7.6.zip

解压
unzip slf4j-1.7.6.zip

把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面

 

最后，删除topic

这个我还没解决，log删了，命令也打了，也重启了，就是删不掉，按照这个教程去做了，也还是list到被删除的topic，有解决的小伙伴可以告诉我哈，http://www.aboutyun.com/blog-1415-887.html

 

推荐教程网址：

1.http://www.cnblogs.com/oftenlin/p/4047504.html

2.http://www.cnblogs.com/sunxucool/p/4459020.html

转载于:https://www.cnblogs.com/yovela/p/5181815.html