Hadoop kafka的文件参数配置

一. kafka 安装部署

1. 环境变量

export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

2. 修改 server.properties

打开文件/usr/local/src/kafka/config/server.properties ，在 server.properties 文件下找到下列配置项，并修改为

broker.id=0 
zookeeper.connect=master,slave1,slave2 

3. 分发kafka

[root@master src]# scp -r /usr/local/src/kafka/ root@slave1:/usr/local/src/kafka/
[root@master src]# scp -r /usr/local/src/kafka/ root@slave2:/usr/local/src/kafka/
[root@master src]# chown -R hadoop:hadoop /usr/local/src/kafka
[root@slave1 src]# chown -R hadoop:hadoop /usr/local/src/kafka
[root@slave2 src]# chown -R hadoop:hadoop /usr/local/src/kafka

4. 修改各节点的 server.properties

修改slave1与slave2的kafka配置
进入 hadoop 用户,打开文件/usr/local/src/kafka/config/server.properties ，
在 server.properties 文件下找到 broker.id 分别修改为

Slave1： broker.id=1
Slave2:：broker.id=2

5. 启动 ZOOKEEPER 集群

6. 在各个节点启动 kafka 服务

每个节点服务启动后终端不要关闭 在 master 节点上启动 kafka 服务

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

在 slave1 节点上启动 kafka 服务

[hadoop@slave1 ~]$ /usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

在 slave2 节点上启动 kafka 服务

[hadoop@slave2 ~]$ /usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

二. Kafka 组件验证部署

1. 创建一个名为 hello 的 topic

在 master 打开一个新终端

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-topics.sh --create  --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 2 --topic hello --partitions 1 

Create 参数代表创建, zookeeper 参数为 zookeeper 集群的主机名 ，replication-factor 代表生 成多少个副本文件，topic 为 topic 的名称，partitions 指定多少个分区

2. 查看 topic 是否创建成功

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

3. 在 master 节点创建一个生产者

使用 kafka-console-producer.sh 脚本来创建生产者

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic hello

执行后终端不要关闭 broker-list 指定服务器，在 Kafka 集群包含一个或多个服务器，这种服务器被称为 broker。 Topic 指定在 hello 上创建生产者。

4. 在 slave1 节点创建一个消费者

在 slave1 中打开一个新终端，使用 kafka-console-consumer.sh 脚本来创建消费者

[hadoop@slave1 ~]$ /usr/local/src/kafka/bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic hello --from-beginning 

执行后终端不要关闭 zookeeper 参数为 zookeeper 集群的主机名 Topic 指定在 hello 上创建消费者 from-beginning 读取历史未消费的数据

5. 在创建的生产者中输入信息

在创建的生产者的终端中输出信息

hello kafka

6. 在创建的消费者中查看信息

接受成功，则 kafka 组件验证成功 在创建消费者的终端中可以看到以下输出信息
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper]. hello kafka