33. 【实战】zookeeper+kafka集群的安装部署以及简单使用

本文档详细介绍了如何搭建zookeeper和kafka集群,包括zookeeper的安装配置,scala环境的搭建,以及kafka集群的构建。通过消息队列实现异步更新,确保高时效性数据的正确同步。首先,搭建zookeeper集群,然后基于zookeeper构建kafka集群。最后,验证kafka集群是否正常运行。
摘要由CSDN通过智能技术生成

异步更新:消息队列

多级缓存的架构,主要是用来解决时效性不高的数据,比如一些商品的基本信息,如果发生了变更,假设在5分钟之后再更新到页面中,供用户观察到,也是ok的;

时效性要求不高的数据,那么我们采取的是异步更新缓存的策略;

时效性要求很高的数据,比如库存,采取的是数据库+缓存双写的技术方案,也解决了双写的一致性的问题

缓存数据生产服务,监听一个消息队列,然后数据源服务(商品信息管理服务)发生了数据变更之后,就将数据变更的消息推送到消息队列中

缓存数据生产服务可以去消费到这个数据变更的消息,然后根据消息的指示提取一些参数,然后调用对应的数据源服务的接口,拉去数据,这个时候一般是从mysql库中拉去的

消息队列是什么东西?采取的就是kafka

消息队列:kafka

  1. kafka比较简单易用,很方便,生产者+消费者的场景,kafka或者activemq都ok
  2. kafka底层基于zookeeper集群,所以先搭建zookeeper集群,再搭建kafka集群
  3. zookeeper后面还要通过分布式锁解决缓存的分布式并发更新的问题
  4. zookeeper + kafka的集群,都是三节点

zookeeper集群搭建

  1. zookeeper-3.4.5.tar.gz拷贝到/usr/local目录下,
  2. 进行解压缩:tar -zxvf zookeeper-3.4.5.tar.gz
  3. 对zookeeper目录进行重命名:mv zookeeper-3.4.5 zk
  4. 配置zookeeper相关的环境变量
    在这里插入图片描述
vi ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$ZOOKEEPER_HOME/bin
source ~/.bashrc
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值