01-0.8.2.1版本kafka单节点搭建

kafka可以不部署在hadoop框架上，直接在linux上安装即可
1、解压kafka安装包

tar -zxvf kafka-0.8.2.1.tar.gz -C /app/etl/tmp/mengchao

ln -s kafka-0.8.2.1 /app/etl/tmp/mengchao/kafka

2、修改server.properties配置文件

broker.id=1

port=9092

host.name=10.10.103.34

log.dirs=/app/etl/tmp/mengchao/kafka/logs

zookeeper.connect=10.10.103.34:2181/kafka

zookeeper.connection.timeout.ms=6000

3、创建logs目录

mkdir /app/etl/tmp/mengchao/kafka/logs

4、修改producer.properties

metadata.broker.list=10.10.103.34:9092

serializer.class=kafka.serializer.StringEncoder

5、修改consumer.properties

zookeeper.connect=10.10.103.34:2181

6、配置kafka运行的环境变量

vi /app/etl/.bashrc

export KAFKA_HOME=/app/etl/tmp/mengchao/kafka

export PATH=$KAFKA_HOME/bin:$PATH

配置成功后，执行source /app/etl/.bashrc使配置生效

7、启动kafka

进入/bin目录

nohup kafka-server-start.sh /app/etl/tmp/mengchao/kafka/config/server.properties &

jps查看kafka是否启动

8、测试kafka

a.创建topic

kafka-topics.sh --create --zookeeper 10.10.103.34:2181/kafka --replication-factor 1 --partitions 1 --topic ${topicName}

b.查看topics列表

kafka-topics.sh --list --zookeeper 10.10.103.34:2181/kafka

c.启动生产者producer

kafka-console-producer.sh --broker-list 10.10.103.34:9092 --topic ${topicName}

d.启动消费者

kafka-console-consumer.sh --zookeeper 10.10.103.34:2181/kafka --topic ${topicName} --from-beginning

在生产者机器上输入一条信息如: this is a comment

在消费者机器上观察是否能接收到此信息,若接收到说明成功