kafka/zookeeper 安装

1.第一步下载kafka 和zookeeper
i.地址:http://kafka.apache.org/downloads -2.7-scala-2.12
https://zookeeper.apache.org/releases.html -3.6.2
注意下一般高版本向下兼容选择完kafka的版本后尽量要匹配版本
下载的时候注意 要下载 文件名里面带有xxxxx.xx-bin.tar.gz的类似的但是要下载bin的开箱解压就可以用
2.解压文件
tar -zxvf xxxx.kafka-2.7.xx -c /opt (自己要安装的路径)
3.先配置zookeeper 的文件因为kafka启动集群需要zookeeper作为注册中心也是isr系统的重要组件
(这里最好将ZK 和kafka 都配置成环境变量这样就可以省的输入全路径了)

4.如果一个节点安装两个不同版本的kafka 可能报错Connection to node -1
1 : 更换kafka 的端口 listeners yourhost:port advertised.listeners host:port 第一个最好是0.0.0.0 允许外部连接的 第二个 是广播端口 如果不配置接收不到 内部发送的消息
2 : 修改zookeeper.connect 地址 后边加一个 文件名 比如 localhost:2181/kafka01 这样 不会混着来
3:修改日志文件地址log.dir 不要使用/tmp/kafka-log 更换成自己的地址 比如 /opt/log/kafka-log/kafka01 等

mkidr -p ${ZK_HOME}/data
cd ${ZK_HOME}/data
vim myid  #这里时节点的id有几个就写几个 1,2,3,4之类 如果突然20会因为检查不到这个节点报错
	![在这里插入图片描述](https://img-blog.csdnimg.cn/20210309165713852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JyaWQwMDc=,size_16,color_FFFFFF,t_70)
cd  /${ZK_HOME}/conf
mv zoo_sample.cfg zoo.cfg
vim /zoo.cfg

在这里插入图片描述
1)红色线就是我们刚才配置好的路径 如果启动不成功或者有其他问题一直解决不了可以将里面除了myid 文件删除
2)蓝色线就是各个节点的配置

  server.1=hadoop10:2888:3888
  server.2=hadoop20:2888:3888   
  server.3=hadoop30:2888:3888
  #hadoop10,hadoop20,=hadoop30是我自己在/etc/hosts 文件中配置了如果没配置需要使用ip地址 比如 192.168.250.141

3)分发 scp -r ${ZK_HOME} root@hadoop10:/${ZK_HOME}所有节点
4)启动bin/zkServer.sh start 配置环境量zkServer.sh start
4 安装Kafka
1.解压这里就不赘述了
2.配置文件
在这里插入图片描述
将zookeeper地址配置到里面以逗号分隔
3)分发到各个节点
4)启动

nohup kafka-server-start.sh /opt/kafka_2.12-2.7.0/config/server.properties >>/elk/tmp/kafka-logs/kafka.log 2>&1 &
 #指定的配置文件的时候/opt/kafka_2.12-2.7.0/config/server.properties 最好使用全路径名称这样不会出错 。

(我这里时配置环境变量的如果没有那么都是全路径)

5)jps 包含红色线 就启动成功可以使用了
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用keepalived实现jar包redis/nacos/zookeeper/kafka的双机热备大致步骤如下: 1. 安装keepalived 在两台服务器上都安装keepalived,可以使用命令`sudo apt-get install keepalived`安装,也可以从源码安装。 2. 配置keepalived 在两台服务器上分别配置keepalived。配置文件通常位于/etc/keepalived/keepalived.conf。 以redis为例,可以在配置文件中添加以下内容: ``` vrrp_script chk_redis { script "/etc/keepalived/check_redis.sh" interval 2 weight 2 } vrrp_instance VI_1 { interface eth0 state MASTER virtual_router_id 51 priority 150 virtual_ipaddress { 10.0.0.100 } track_script { chk_redis } } ``` 其中,`chk_redis`是一个自定义脚本,用于检查redis是否正常运行。`VI_1`是虚拟路由器实例的名称,`virtual_ipaddress`是虚拟IP地址。 在另一台服务器上,同样的配置文件中,将`state`改为`BACKUP`,`priority`改为低于主服务器的值,例如100。 3. 编写检查脚本 在上面的配置文件中,我们使用了一个自定义的脚本`check_redis.sh`来检查redis是否正常运行。 ``` #!/bin/bash REDIS_CMD=`which redis-cli` REDIS_HOST="127.0.0.1" REDIS_PORT="6379" $REDIS_CMD -h $REDIS_HOST -p $REDIS_PORT ping > /dev/null 2>&1 if [ $? -eq 0 ] then exit 0 else exit 1 fi ``` 该脚本使用redis-cli命令来检查redis是否能够正常连接。如果连接成功,则返回0,否则返回1。 4. 启动keepalived 在两台服务器上都启动keepalived服务,可以使用命令`sudo service keepalived start`启动服务。 至此,我们就实现了redis的双机热备。其他服务如nacos/zookeeper/kafka也可以参考类似的方法进行配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值