一些集群命令

start-all.sh 或者 start-dfs.sh start-yarn.sh 启动Hadoop集群
$SPARK_HOME/sbin/start-all.sh 启动spark集群
zookeeper-server-start.sh -daemon /export/servers/kafka/config/zookeeper.properties  启动zk集群（每个节点都执行）
kafka-server-start.sh -daemon /export/servers/kafka/config/server.properties  启动kk集群（每个节点都执行）

stop-all.sh 或者 stop-yarn.sh stop-dfs.sh 停止Hadoop集群
$SPARK_HOME/sbin/start-all.sh 停止spark集群
kafka-server-stop.sh 停止kafka集群（每个节点都执行）
zookeeper-server-stop.sh 停止zookeeper集群（每个节点都执行）

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
    <version>2.4.6</version>
</dependency>

kafka命令
kafka-topics.sh --list --zookeeper hadoop01:2181    //查看所有topic
kafka-topics.sh --create --zookeeper hadoop01:2181 --topic mytopic //topic名称 --partitions 2 //分区个数 --replication-factor 2 //副本数量
        //创建topic
kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic mytopic    //删除topic
kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic mytopic    //查看topic详情
生产者生产消息（终端测试）
kafka-console-producer.sh --broker-list hadoop01:9092 --topic mytopic
消费者消费消息（终端测试）
kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic mytopic

kafka集群 hadoop01,hadoop02,hadoop03
1、hadoop01 kafka进程或机器down掉后生产者代码需要修改bootstrap_server的IP地址（修改成集群内除hadoop01外任意IP地址）
2、zookeeper进程单独down后不影响生产消费
集群里三台机器为例down两台及以上集群不能工作（kafka集群down一半及以上机器集群不能工作，如集群有6台机器最多down两台）

kafka单机可以正常运行，zk进程stop后也可以使用，但是不启动zk进程kafka进程起不来