kafka

环境部署：

一、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求，并与 Kafka 环境适配，启动 Zookeeper 并截图保存结果

        1、启动三台机器zookeeper

bin/zkServer.sh start

     

二、解压 Kafka 安装包到“/usr/local/src”路径，并修改解压后文件夹名为 kafka，截图并保存结果

        1、进入/h3cu目录找到kafka

cd /h3cu

         2、解压kafka

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src

        3、重命名kafka

mv kafka_2.11-1.0.0 kafka

三、设置 Kafka 环境变量，并使环境变量只对当前 root 用户生效，截图并保存结果

        1、添加环境变量

vi /root/.bashrc

        2、使环境变量立即生效

source /root/.bashrc

四、修改 Kafka 相应文件，截图并保存结果

        1、进入kafka/config目录下

cd /usr/local/src/kafka/config

        2、修改 server.properties文件

vi server.properties

                A、修改zookeeper.connect，修改log.dirs，最后加入两行

    更改前：

    更改后：

    更改前：

    更改后：

     最后加入：

        host.name=master1-1
        delete.topic.enable=true

        3、创建logs目录

    mkdir logs

            注：由于kafka安装目录下默认没有logs目录，故在 kafka/ 下创建logs目录

        4、集群分发

scp -r /usr/local/src/kafka slave1-1:/usr/local/src/

scp -r /usr/local/src/kafka slave1-2:/usr/local/src/

        5、分别修改slave1和slave2的server.properties文件

    slave1-1节点：

        broker.id=1
        host.name=slave1-1

    slave1-2节点：

        broker.id=2
        host.name=slave1-2

五、启动 Kafka 并保存命令输出结果，截图并保存结果

进入kafka安装目录

        1、启动kafka

     bin/kafka-server-start.sh -daemon ./config/server.properties  &

            注：启动kafka之前确保zookeeper已经启动，三台机器全部启动

     

六、创建指定 topic，并截图并保存结果

        1、在master上创建topic-test

./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test

七、查看所有的 topic 信息，并截图并保存结果

        1、查看所有topic信息

./bin/kafka-topics.sh --list --zookeeper localhost:2181

八、启动指定生产者（producer），并截图并保存结果

        1、在master上启动生产者

    ./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test

九、启动消费者（consumer），并截图并保存结果

        1、在slave启动消费者

    ./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test

十、测试生产者（producer），并截图并保存结果

            注：在生产者随便输入一些内容

十一、测试消费者（consumer），并截图并保存结果

            注：消费者将会自动打印生产者输入的内容