201901建站运维笔记 54

最新推荐文章于 2023-07-13 16:47:52 发布
最新推荐文章于 2023-07-13 16:47:52 发布
阅读量230 收藏
点赞数
原文链接：https://my.oschina.net/u/4067241/blog/3027102
版权

Kafka介绍

根据前面的介绍，我们已经大概了解了Kafka也是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台。其实Kafka是一个流处理平台，这个概念不太好理解，之所以叫做流，是因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据。我们就可以把Kafka看作是一种特殊的消息队列中间件。

Kafka与传统消息系统相比，有以下不同：

它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

在Kafka中有几个关键角色和概念。

  • Producer

    ""消息生产者，是消息的产生源头，负责生成消息并发送给Kafka。

  • Topic

    主题，由用户自定义，并配置在Kafka服务器，用于建立生产者和消费者之间的订阅关系，生产者将消息发送到指定的Topic，然后消费者再从该Topic下去取消息。

  • Partition

    消息分区，一个Topic下面会有多个Partition，每个Partition都是一个有序队列，Partition中的每条消息都会被分配一个有序的id。

  • Broker

    这个其实就是Kafka服务器了，无论是单台Kafka还是集群，被统一叫做Broker，有的资料上把它翻译为代理或经纪人。

  • Group

    消费者分组，将同一类的消费者归类到一个组里。在Kafka中，多个消费者共同消费一个Topic下的消息，每个消费者消费其中的部分消息，这些消费者就组成了一个分组，拥有同一个组名。

ZooKeeper

官网：http://zookeeper.apache.org/

Kafka的运行依赖ZooKeeper。ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。

ZooKeeper最早起源于雅虎研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型系统基本都需要依赖一个类似的系统来进行分布式协调，但是这些系统往往都存在分布式单点问题。所以，雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架，以便让开发人员将精力集中在处理业务逻辑上。

关于ZooKeeper这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。时任研究院的首席科学家RaghuRamakrishnan开玩笑地说：“在这样下去，我们这儿就变成动物园了！”此话一出，大家纷纷表示就叫动物园管理员吧 一一 因为各个以动物命名的分布式组件放在一起，雅虎的整个分布式系统看上去就像一个大型的动物园了，而ZooKeeper正好要用来进行分布式环境的协调。于是，ZooKeeper的名字也就由此诞生了。

ZooKeeper的数据结构

类似于Linux的文件系统，是一种树形的结构。如下：

                    /
                 /     \
		/       \
             Lang     Service
             / \        /  \
            /   \      /    \
          JAVA   PHP Nginx Tomcat

如果已经搭建了ZooKeeper服务，可以进入到ZooKeeper命令行终端，然后执行ls /看到下面的目录结构

/usr/local/zookeeper/bin/zkCli.sh -server aming01:2181
进入到Zookeeper的命令行终端下面，执行：ls /

树是由节点所组成，ZooKeeper的数据存储也同样是基于节点，这种节点叫做Znode。/Lang/PHP是一个节点，/Service/Tomcat也是一个节点，这样就可以让每一个Znode拥有唯一的路径。每一个Znode里包含了数据、子节点引用、访问权限等。

如上图，data即Znode里面的数据，ACL为权限规则，它规定了哪些用户或哪些IP才有权限访问此Znode，stat记录了Znode相关的元数据，比如事务ID、版本号、时间戳、大小，child为当前节点的子节点引用，类似于二叉树的左孩子右孩子。ZooKeeper有个限制，每个Znode的数据大小不会超过1M。

get /node_name
getAcl /node_name
节点类型

  • 持久节点（PERSISTENT）

    所谓持久节点，是指在节点创建后，就一直存在，直到有删除操作来主动清除这个节点——不会因为创建该节点的客户端会话失效而消失。

    	create /node 'persistent node'

  • 持久顺序节点（PERSISTENT_SEQUENTIAL，节点会自动加上编号）

    这类节点的基本特性和上面的节点类型是一致的。额外的特性是，在ZK中，每个父节点会为他的第一级子节点维护一份时序，会记录每个子节点创建的先后顺序。基于这个特性，在创建子节点的时候，可以设置这个属性，那么在创建节点过程中，ZK会自动为给定节点名加上一个数字后缀，作为新的节点名。这个数字后缀的范围是整型的最大值。

    在创建节点的时候只需要传入节点 “/test_”，这样之后，zookeeper自动会给”test_”后面补充数字。

    	create -s /s_node 'persistent sequential'

  • 临时节点（EPHEMERAL）

    和持久节点不同的是，临时节点的生命周期和客户端会话绑定。也就是说，如果客户端会话失效，那么这个节点就会自动被清除掉。注意，这里提到的是会话失效，而非连接断开。另外，在临时节点下面不能创建子节点。

    这里还要注意一件事，就是当你客户端会话失效后，所产生的节点也不是一下子就消失了，也要过一段时间，大概是10秒以内，本机操作生成节点，在服务器端用命令来查看当前的节点数目，你会发现客户端已经stop，但是产生的节点还在。

    	create -e /e_node 'ephemeral'

  • 临时顺序节点（EPHEMERAL_SEQUENTIAL）

    此节点是属于临时节点，不过带有顺序，客户端会话结束节点就消失。下面是一个利用该特性的分布式锁的案例流程。

    	create -e -s /e_s_node 'ephemeral sequential'

ZooKeeper集群中的角色

ZooKeeper提供服务时，是需要通过集群来实现，ZooKeeper集群中有一个leader，多个follower角色，其中leader提供写服务，follower提供读服务。

  • Leader

Leader是整个ZooKeeper集群工作机制中的核心 。Leader作为整个ZooKeeper集群的主节点，负责响应所有对ZooKeeper状态变更的请求。其主要工作包括下面两个方面

1）事务请求的唯一调度和处理，保障集群处理事务的顺序性。

2）集群内各服务器的调度者。

Leader选举是ZooKeeper最重要的技术之一，也是保障分布式数据一致性的关键所在。我们以三台机器为例，在服务器集群初始化阶段，当有一台服务器Server1启动时候是无法完成选举的，当第二台机器Server2启动后两台机器能互相通信，每台机器都试图找到一个leader，于是便进入了leader选举流程.

每个server发出一个投票，投票的最基本元素是SID（服务器id）和ZXID（事物id）--> 接受来自各个服务器的投票 --> 处理投票，优先检查ZXID(数据越新ZXID越大),ZXID比较大的作为leader，ZXID一样的情况下比较SID --> 统计投票，这里有个过半的概念，大于集群机器数量的一半，即大于或等于（n/2+1）,我们这里是三台，所以大于等于2即为达到“过半”的要求 --> 改变服务器状态，一旦确定了leader，服务器就会更改自己的状态，且一般不会再发生变化。

  • Follower

Follower即跟随者，他的逻辑比较简单。除了响应本服务器上的读请求外，还要处理leader的提议，并在leader提交该提议时在本地也进行提交。另外需要注意的是，leader和follower构成ZooKeeper集群的法定人数，也就是说，只有他们才参与新leader的选举、响应leader的提议。

  • Observer

服务器充当一个观察者的角色。如果ZooKeeper集群的读取负载很高，或者客户端多到跨机房，可以设置一些observer服务器，以提高读取的吞吐量。Observer和Follower比较相似，只有一些小区别：首先observer不属于法定人数，即不参加选举也不响应提议，也不参与写操作的“过半写成功”策略；其次是observer不需要将事务持久化到磁盘，一旦observer被重启，需要从leader重新同步整个命名空间。

Kafka和ZooKeeper

我们了解了ZooKeeper的分布式协调服务特性后，再来看看Zookeeper在Kafka集群中到底担任了一个什么样的角色？

简单讲，ZooKeeper用于分布式系统的协调，Kafka使用ZooKeeper也是基于相同的原因。ZooKeeper主要用来协调Kafka的各个broker，不仅可以实现broker的负载均衡，而且当增加了broker或者某个broker故障了，ZooKeeper将会通知生产者和消费者，这样可以保证整个系统正常运转。

  • Broker注册

    Broker在ZooKeeper中保存为一个临时节点，节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息.

    	/usr/local/zookeeper/bin/zkCli.sh -server aming01:2181
	进入到Zookeeper的命令行终端下面，执行：ls /brokers/ids

  • Topic注册

    在Kafka中,一个topic会被分成多个区并被分到多个broker上，分区的信息以及broker的分布情况都保存在ZooKeeper中，根节点路径为/brokers/topics,每个topic都会在topics下建立独立的子节点，每个topic节点下都会包含分区以及broker的对应信息

        /usr/local/zookeeper/bin/zkCli.sh -server aming01:2181
    进入到Zookeeper的命令行终端下面，执行：ls /brokers/topics

  • 生产者负载均衡

    当Broker启动时，会注册该Broker的信息，以及可订阅的topic信息。生产者通过注册在Broker以及Topic上的watcher动态的感知Broker以及Topic的分区情况，从而将Topic的分区动态的分配到broker上.

    	ls2 /brokers/topics watch

  • 消费者

    Kafka有消费者分组的概念，每个分组中可以包含多个消费者，每条消息只会发给分组中的一个消费者，且每个分组之间是相互独立互不影响的。

  • 消费者与分区的对应关系

    对于每个消费者分组，Kafka都会为其分配一个全局唯一的Group ID,分组内的所有消费者会共享该ID, Kafka还会为每个消费者分配一个consumer ID,通常采用hostname:uuid的形式。在kafka的设计中规定，对于topic的每个分区，最多只能被一个消费者进行消费，也就是消费者与分区的关系是一对多的关系。消费者与分区的关系也被存储在ZooKeeper中节点的路劲为 /consumers/[group_id]/owners/[topic]/[broker_id-partition_id],该节点的内容就是消费者的Consumer ID

  • 消费者负载均衡

    消费者服务启动时，会创建一个属于消费者节点的临时节点，节点的路径为 /consumers/[group_id]/ids/[consumer_id],该节点的内容是该消费者订阅的Topic信息。每个消费者会对/consumers/[group_id]/ids节点注册Watcher监听器，一旦消费者的数量增加或减少就会触发消费者的负载均衡。消费者还会对/brokers/ids/[brokerid]节点进行监听，如果发现服务器的Broker服务器列表发生变化，也会进行消费者的负载均衡

  • 消费者的offset

    在Kafka的消费者API分为两种(1)High Level Api：由ZooKeeper维护消费者的offset (2) Low Level API,自己的代码实现对offset的维护。由于自己维护offset往往比较复杂，所以多数情况下都是使用High Level的API, offset在ZooKeeper中的节点路径为/consumers/[group_id]/offsets/[topic]/[broker_id-part_id],该节点的值就是对应的offset

Kafka工作流程

1）生产者定期向主题发送消息。

2）Kafka broker将所有消息存储在为该特定主题配置的分区中。它确保消息在分区之间平等共享。如果生产者发送两个消息，并且有两个分区，则Kafka将在第一个分区中存储一个消息，在第二个分区中存储第二个消息。

3）消费者订阅一个特定的主题。

4）一旦消费者订阅了一个主题，Kafka将向消费者提供该主题的当前偏移量，并将偏移量保存在ZooKeeper中。

5）消费者将定期请求Kafka新消息。

6）一旦Kafka收到来自生产者的消息，它会将这些消息转发给消费者。

7）消费者将收到消息并处理它。

8）一旦消息被处理，消费者将向Kafka broker发送确认。

9）一旦Kafka收到确认，它会将偏移量更改为新值，并在ZooKeeper中进行更新。由于ZooKeeper中保留了偏移量，因此即使在服务器出现故障时，消费者也可以正确读取下一条消息。

一篇不错的文档 https://www.jianshu.com/p/d3e963ff8b70

概览

通过前面的学习，我们了解到Kafka依赖ZooKeeper，所以需要先部署ZooKeeper集群。

环境准备

主机名IP
aming01192.168.222.128
aming02192.168.222.129
aming03192.168.222.130

设置主机名，并设置hosts

关闭Selinux、firewalld并安装JDK

安装部署ZooKeeper

说明：以下操作在aming01上操作

  • 下载ZooKeeper安装包

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.13.tar.gz

  • 解压并挪到/usr/local/下

    tar zxf zookeeper-3.4.13.tar.gz

    mv zookeeper-3.4.13 /usr/local/zookeeper

  • 创建数据、日志存放目录及当前节点ID

    cd /usr/local/zookeeper

    mkdir data

    mkdir dataLog

    echo "1" > data/myid

  • 配置

    cp conf/zoo_sample.cfg conf/kafka_zk.cfg

    vi conf/kafka_zk.cfg ##更改为如下配置

    	tickTime=2000
	# 数据文件存放位置
	dataDir=/usr/local/zookeeper/data
	dataLogDir=/usr/local/zookeeper/dataLog
	#服务监听端口
	clientPort=2181
	#选举等待时间
	initLimit=5
	syncLimit=2
	#集群节点信息
	server.1=aming01:2888:3888
	server.2=aming02:2888:3888
	server.3=aming03:2888:3888

  • 分发文件

    scp -r /usr/local/zookeeper aming02:/usr/local/

    scp -r /usr/local/zookeeper aming02:/usr/local/

  • 修改id

    在aming02上，修改/usr/local/zookeeper/data/myid内容为2，aming03上修改为3

  • 添加同步时间的任务计划啊（三台机器都执行）

    yum install -y ntpdate

    echo "*/5 * * * * ntpdate time.windows.com" >> /var/spool/cron/root

  • 启动集群（三台都执行）

    /usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/kafka_zk.cfg

    /usr/local/zookeeper/bin/zkServer.sh status /usr/local/zookeeper/conf/kafka_zk.cfg #查看集群状态

    /usr/local/zookeeper/bin/zkServer.sh stop /usr/local/zookeeper/conf/kafka_zk.cfg #关闭集群

  • 测试连接ZooKeeper

    /usr/local/zookeeper/bin/zkCli.sh -server aming01:2181

ZooKeeper常见用法

首先进入到ZooKeeper命令行模式下，可以进行如下操作：

1）查询节点

ls /

2）创建节点

create /test_node 'test node' 
说明：节点名称必须以/开头，test_node为节点名称，'test node'为具体数据

创建临时节点
create -e /test_node2 'ephemeral node'

创建序列节点，它会自动加上一堆数字
create -s /s_node 'sequential node'

创建临时序列节点
create -e -s /e_s_node 'ephemeral and sequential node'

3）查看节点状态

stat /test_node

4）查看节点数据内容

get /test_node

5）设置节点数据

set /test_node 'update node data' 10
说明：最后面的数字为版本号

6）删除节点

delete /test_node
注意：如果/test_node下有子节点，则删除会报错，此时可以使用递归删除命令rmr

rmr /test_node

7）设置节点Acl

setAcl /test_node ip:192.168.222.129:rcdwa

8）获取节点Acl

getAcl /test_node

更多指令参考 https://blog.csdn.net/xyang81/article/details/53053642

Kafka集群搭建

说明：我们使用三台机器搭建Kafka集群

  • 下载安装包(aming01操作)

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz

  • 解压并挪到/usr/local(aming01操作)

    tar zxf kafka_2.11-2.1.1.tgz

    mv kafka__2.11-2.1.1 /usr/local/kafka

  • 配置(aming01操作)

    cd /usr/local/kafka

    mkdir logs

    vim config/server.properties #按如下方法配置

    	broker.id=1  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
	port=9092 #当前kafka对外提供服务的端口默认是9092
	host.name=192.168.222.128 #本机IP
	num.network.threads=3 #这个是borker进行网络处理的线程数
	num.io.threads=8 #这个是borker进行I/O处理的线程数
	log.dirs=/usr/local/kafka/logs #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
	socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
	socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
	socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
	num.partitions=1 #默认的分区数，一个topic默认1个分区数
	log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
	message.max.byte=5242880  #消息保存的最大值5M
	default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
	replica.fetch.max.bytes=5242880  #取消息的最大直接数
	log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
	log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
	log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
	zookeeper.connect=aming01:2181,aming02:2181,aming03:2181 #设置zookeeper的连接端口

  • 分发到另外两台机器(aming01操作)

    scp -r /usr/local/kafka aming02:/usr/local/

    scp -r /usr/local/kafka aming03:/usr/local/

  • 修改配置文件(aming02/aming03操作)

    vim config/server.properties #aming02, 将brokerid设置为2，host.name设置为192.168.222.129

    vim config/server.properties #aming03, 将brokerid设置为3，host.name设置为192.168.222.130

  • 启动服务(三台都操作)

    /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

测试

aming01作为生产者，aming03作为消费者

在aming01上执行：

创建一个主题test：一个分区，两个副本
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper aming01:2181 --replication-factor 2 --partitions 1 --topic test   

创建一个生产者（消息发布者）
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list aming01:9092 --topic test
#此时会进入到新的console（以>开头）

在aming03上执行

创建一个消费者（消息订阅者）
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server aming01:9092  --topic test --from-beginning
#此时也会进入到另外一个console下
再到aming01上的> 下输入一些字符，然后aming03上就可以看到了。

常用命令

  • 查看主题

    /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

  • 查看主题详情

    /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

  • 删除主题(需设置参数delete.topic.enable=true)

    /usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

  • 生产者参数查看

    /usr/local/kafka/bin/kafka-console-producer.sh

  • 消费者参数查看

    /usr/local/kafka/bin/kafka-console-consumer.sh

转载于:https://my.oschina.net/u/4067241/blog/3027102

chiyanliao0442
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
centos7下rabbitmq集群部署，Zookeeper集群部署
DLWH_HWLD的博客
04-22 2421
centos7下rabbitmq集群部署，Zookeeper集群部署 1、rabbitmq集群部署 2、Zookeeper集群部署
JAVA Web 学习（四）RabbitMQ、Zookeeper
最新发布
qq_42767993的博客
02-03 2225
vhost：每个 RabbitMQ 都能创建很多 vhost，我们称之为虚拟主机，每个虚拟主机其实都是 mini 版的RabbitMQ，它拥有自己的队列，交换器和绑定，拥有自己的权限机制，主要是为了隔离，vhost 不仅消除了为基础架构中的每一层运行一个RabbitMq服务器的需要, 童谣避免为每一层创建不同的集群.利用 zk 创建一个全局唯一的路径，这个路径就可以作为一个名字，指向集群中的集群，提供的服务的地址，或者一个远程的对象等等。唯一磁盘节点崩溃了，集群是可以保持运行的，但你不能更改任何东西。
（未完待续）浅谈微服务以及 常用中间件（ zookeeper redis rabbitmq）
舒婷(Zoe)
09-29 6244
传统的单体框架，已经不满足目前公司战略规划要求，近几年“微服务“ 这个字眼，出现的越来越频繁，虽然有过一年多微服务项目经验，也很难把微服务解释清楚，到底何为微服务？ 哈哈哈，好正经的开头，Martin Fowler曾在其blog上发表了”Microservices“的文章，正式提出了微服务架构，对于微服务的解释，他的定义为：微服务架构是一种架构模式，他 提倡将单一应用程序，划分为一个个独立的服务，服务之间相互协调，相互配合，为用户提供最终价值。 来一张图，感受一下微服务的魅力~ 将传统一个独...
分布式应用之zookeeper集群+消息队列Kafka
cxin1225的博客
07-13 1987
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
分布式事务---消息队列解决方案（本地消息表）
as4566的博客
10-17 1891
这一章我们介绍下分布式情况下进行事务的处理的方法----消息队列异步解决方案，也通过这个方案我们聊一聊分布式中的BASE理论在这里的体现。 对于事务我不多加介绍，分布式事务有几种解决方案如：2PC（两阶段提交），3PC（三阶段提交），补偿事务（TCC），消息队列异步。但是考虑到分布式下各种异常情况考虑下，常见生产方案一般都是消息队列异步解决方案，使用本地消息表保证异步的消息一致性，我们结合分布式理论聊聊消息队列异步解决方案。
运维笔记运维笔记运维笔记运维笔记
05-03
运维笔记 本文旨在总结运维笔记中的一些重要知识点，涵盖 Linux 基础命令行、文件系统、压缩解压命令、系统磁盘、用户组群命令、正则表达式、Shell 脚本、NFS 服务配置、Nginx 基础、反向代理、负载均衡配置、Redis...
运维笔记网关运维笔记---转载
06-25
【运维笔记】网关运维笔记---转载 这篇运维笔记主要涵盖了基础的IT知识，适合入门级读者学习。作者强调笔记中的内容多为基础知识，旨在帮助新手理解和掌握IT领域的基础知识，特别是对信息化底层知识的讲解。笔记...
运维笔记整理.zip
08-31
这份"运维笔记整理.zip"文件包含了一系列关于Linux运维的核心知识，是学习和掌握Linux运维技能的宝贵资料。以下是对其中各个主题的详细阐述： 1. **Linux基础**：Linux是一种自由开放源代码的操作系统，它基于Unix...
Postgresql数据库运维笔记 数据库运维.pdf
04-19
Postgresql数据库运维笔记 数据库运维.pdf
RabbitMQ+Zookeeper+Dubbo+Nginx+Mysql+Redis搭建.txt
01-02
RabbitMQ+Zookeeper+Dubbo+Nginx+Mysql+Redis搭建.txtRabbitMQ+Zookeeper+Dubbo+Nginx+Mysql+Redis搭建.txtRabbitMQ+Zookeeper+Dubbo+Nginx+Mysql+Redis搭建.txt
Zookeeper、Redis、RabbitMQ
pyl574069214的专栏
07-06 1764
在分布式环境下，如果不用SpringCloud，那么可以用Zookeeper来完成： 注册中心 配置集中管理 集群管理 分布式锁、分布式任务 队列的管理 Zookeeper就是一个文件系统+监听通知机制 1、Zookeeper 1、安装zookeeper docker-compose.yml文件内容 version: "3.1" services: zk: image: daocloud.io/daocloud/zookeeper:latest ...
kafka学习笔记
hellolianhua的博客
10-11 345
一，kafka概述 1.1定义 kafka是一个分布式的基于发布/订阅模式（publish/subscibe)又叫观察者模式（Observer)的消息队列，主要应用于大数据实时处理领域。 一.异步通信原理 1.1观察者模式 观察者模式（observer），又叫发布-订阅模式（publish/subscribe) 定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于他的对象都会得到通知并自动更新。 一个对象（目标对象）的状态发生改变，所有的依赖对象（观察者对象）都将得到通知
RabbitMQ 3.8.9 集群搭建
mrathena
12-02 595
博文目录 文章目录RabbitMQ 集群集群方案的原理搭建负载均衡-HAProxy安装HAProxy配置HAProxy配置详解 RabbitMQ 集群 一般来说，如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试环境上使用其单实例部署就可以了，但是出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑，在生产环境上一般都会考虑使用RabbitMQ的集群方案。 集群方案的原理 RabbitMQ这款消息队列中间件产品本身是基于Erlang编写，Erlang语言天生具备
Linux工作记录（Zookeeper以及RabbitMQ）
kaisen369的博客
08-21 625
Linux工作记录（Zookeeper以及RabbitMQ）
zookeeper\rabbitMQ安装
sirwsl
03-07 368
起因： 前段时间学习了redis，然后搭建了redis集群，然后昨天开始安装zookeeper和rabbitMQ集群. tmd醉了，两个环境装了一天多，一直在踩坑。为什么呢？建议大家还是别是用docker安装zookeeper集群了，因为你会遇到无数的问题，我就是一直被docker折腾着。好了记录一下，下次安装用： docker安装rebbit集群： docker pull rabbitmq:3.6.15-management rabbitMQ： --------------- 单机： docker ru
RabbitMQ的高可用和高可靠
Java_zhujia的博客
11-24 761
所谓高可用：是指产品在规定的条件和规定的时刻或时间内处于可执行规定功能状态的能力。当业务量增加时，请求也过大，一台消息中间件服务器的会触及硬件（CPU,内存，磁盘）的极限，一台消息服务器你已经无法满足业务的需求，所以消息中间件必须支持集群部署。来达到高可用的目的。所谓高可用是指：是指系统可以无故障低持续运行，比如一个系统突然崩溃，报错，异常等等并不影响线上业务的正常运行，出错的几率极低，就称之为：高可靠。在高并发的业务场景中，如果不能保证系统的高可靠，那造成的隐患和损失是非常严重的。
消息中间件kafka概述和安装
qq_40837310的博客
12-07 188
概述 Kafka是一款分布式消息发布和订阅系统，它的特点是高性能、高吞吐量。 最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画 像分析以及服务器性能数据的一些监控。 所以kafka一开始设计的目标就是作为一个分布式、高吞吐量的消息系统，所以适合运用在大数据传输 场景。 应用场景 由于kafka具有更好的吞吐量、内置分区、冗余及容错性的优点(kafka每秒可以处理几十万消息)，让 kafka成为了一个很好的大规模消息处理应用的解决方案。所以在企业级应用长，主要
RabbitMq与Kafka集群设计比较
xlin
12-21 220
1.RabbitMq集群   2.Kafka基础 2.1基础概念   Producer：消息生产者，负责发布消息到 Kafka broker Consumer：消息消费者，向 Kafka broker 读取消息 Broker：Kafka 集群包含一个或多个服务器，这种服务器被称为 broker。一个broker上可能有很多topic的partition。 Topic：每条发布到 Kaf...
"专业运维笔记：OA系统运维基础教程
运维笔记是运维工程师在工作中记录运维经验和技术要点的重要工具。通过不断地记录、整理和总结，运维笔记可以帮助工程师在面对各种问题时快速定位和解决。在江苏金东公司的OA系统运维工作中，培训是非常重要的一环，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值