Kafka学习之二 Kafka基本安装使用方法

1、 安装 

a. 首先安装JRE/JDK 

Linux安装JDK 

b. 下载kafka 

进入下载页面：http://kafka.apache.org/downloads.html 

选择Binary downloads下载 （Source download需要编译才能使用） 

/bin 启动和停止命令等。 

/config 配置文件 

/libs 类库

c. 解压 kafka_2.11-0.9.0.1.tgz

d. 修改配置 

Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件 

Shell代码  

vi bin/kafka-run-class.sh 

找到如下行： 

Sh代码  

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"  

去除-XX:+UseCompressedOops参数 

2. 启动和停止 

启动Zookeeper server： 

Shell代码  

bin/zookeeper-server-start.sh config/zookeeper.properties &  

&是为了能退出命令行 

启动Kafka server: 

Shell代码  

bin/kafka-server-start.sh config/server.properties &  

停止Kafka server 

Shell代码  

bin/kafka-server-stop.sh  

停止Zookeeper server: 

Shell代码  

bin/zookeeper-server-stop.sh 

3. 单机连通性测试 

运行producer： 

Shell代码  

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  

早版本的Kafka，--broker-list localhost:9092需改为--zookeeper localhost:2181 

运行consumer： 

Shell代码  

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning  

在producer端输入字符串并回车，查看consumer端是否显示。

4. 分布式连通性测试

Zookeeper Server, Kafka Server, Producer都放在服务器server1上，ip地址为10.10.73.58 

Consumer放在服务器server2上，ip地址为10.10.73.53。 

分别运行server1的producer和server2的consumer， 

Shell代码

bin/kafka-console-producer.sh --broker-list 10.10.73.58:9092 --topic test  

Shell代码

bin/kafka-console-consumer.sh --zookeeper 10.10.73.58:2181 --topic test --from-beginning 

学习参考：

http://www.infoq.com/cn/articles/kafka-analysis-part-1

http://flychao88.iteye.com/category/350737

http://shift-alt-ctrl.iteye.com/blog/1930791

http://www.tuicool.com/articles/mErEZn