项目搭建之kafka

• 主机名设置(设置后须重启)
  • hostnamectl set-hostname kafka_01
  • hostnamectl set-hostname kafka_02
• 防火墙
  • 关闭防火墙
    • [root@nginx-filebeat-01 ~]# systemctl stop firewalld
  • 设置开机禁止启动：
    • [root@nginx-filebeat-01 ~]# systemctl disable firewalld
• 关闭selinux
  • selinux配置文件修改之后生效需要重启（reboot）主机生效
    • 编辑 vim /etc/selinux/config，修改：SELINUX=disabled
  • 重启之后验证是否生效：[root@nginx-filebeat-01 ~]# getenforce
• 安装
  • 安装到主目录下面的opt
• 下载yum install lsof vim wget
• 下载java：yum install java wget -y
• 安装kafka： wget https://www.cnblogs.com/zhaoshizi/p/12154518.htmlhttps://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz
  • 解包：tar xf +文件名
• 安装zookeeper：wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3.tar.gz
• 配置
  • 修改/etc/hosts文件，添加如下内容：（自己的机器ip+自己的机器名）
    • 192.168.149.132 kafka_01
    • 192.168.149.133 kafka_02
  • 修改/opt/kafka_2.12-2.8.0/config /server.properties：
    • broker.id=0
      第一个id服务器为0 第二个id服务器就为1
    • listeners=PLAINTEXT://kafka_01:9092
      填入自己的主机号
    • zookeeper.connect=192.168.149.132:2181,192.168.149.133:2181
      填入两个自己的ip+：2181
  • 修改添加config/zookeeper.properties:（自己的机器ip+:3888:4888）
    3888和4888是端口，：3888：4888代表zookeeper之间通信要不用3888端口，要不用4888端口
    • server.1=192.168.149.132:3888:4888
    • server.2=192.168.149.133:3888:4888
  • 修改添加/opt/kafka_2.12-2.8.0/bin/ kafka-server-start.sh
    • export JMX_PORT="9999"
• 启动
  • 启动zookeeper
    • bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
  • 启动kafka
    • bin/kafka-server-start.sh -daemon config/server.properties
• 防止kafka掉
  • 配置zookerper
    • 进入/opt目录
      • wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
    • 解压apache-zookeeper-3.6.3-bin.tar.gz
    • 进入/opt/apache-zookeeper-3.6.3-bin/conf
      • cp zoo_sample.cfg zoo.cfg
    • 进入修改zoo.cfg, 添加如下两行：
      两个虚拟机的IP
      • server.1=192.168.85.138:3888:4888
      • server.2=192.168.85.146:3888:4888
    • 创建/tmp/zookeeper目录 ，在目录中添加myid文件，文件内容就是本机指定的zookeeper id内容（直接添加虚拟机号）
      myid添加本机id号，server.1就代表本id为1
      • 如：在192.168.149.132机器上
      • echo 1 > /tmp/zookeeper/myid
    • 再次启动：
      • bin/zkServer.sh status
• 关闭
  • 先关闭kafka
  • 再关闭zookeeper
• 启动
  • 先启动zookeeeper
  • 再启动kafka
• kafka加入环境变量
  • 进入：vim ~/.bash_profile添加
    ZK_PATH=/opt/apache-zookeeper-3.6.3-bin/bin
    export PATH=$PATH:$ZK_PATH
    KF_PATH=/opt/kafka_2.12-2.8.0/bin
    export PATH=$PATH:$KF_PATH
    
    ​
  • 再次启动（打开新窗口）
  • 启动文件：source ~/.bash_profile
  • 查看zkServer.sh
  • 再次启动zookeeper和kafka
    • 查看follower和leader：zkServer.sh status
    • zookeeper：bin/zkServer.sh start
    • kafka：bin/kafka-server-start.sh -daemon config/server.properties
• 进入zkCli.sh客户端
  • 查看几台kafka在线
  • 查看消费者
• 启动
  编辑bin/kafka-server-start.sh脚本，添加如下行：
  #用户监控kafka的一些指标
  export JMX_PORT="9999"
  启动kafka
  bin/kafka-server-start.sh -daemon config/server.properties JMX_PORT="9999"
  启动kafka
  bin/kafka-server-start.sh -daemon config/server.properties
• 测试
  创建topic
  bin/kafka-topics.sh --create --zookeeper 192.168.149.132:2181 --replication-factor 1 --partitions 1 --topic sc
  查看topic
  bin/kafka-topics.sh --list --zookeeper 192.168.149.132:2181
  创建生产者
  [root@localhost kafka_2.12-2.8.0]# bin/kafka-console-producer.sh --broker-list 192.168.149.132:9092 --topic sc
  >hello
  >sanchuang tongle
  >nihao
  >world !!!!!!1
  >创建消费者
  ​[root@localhost kafka_2.12-2.8.0]# bin/kafka-console-consumer.sh --bootstrap-server192.168.196.129:9092 --topic sc --from-beginning
  ​
  ​