![](https://img-blog.csdnimg.cn/20200507202801232.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
【消息中间件-Kafka】
文章平均质量分 58
kafka的搭建与使用 kafka副本机制及选举原理 kafka架构设计原理 kafka最佳性能优化。
一棵树~
just do it
展开
-
Docker安装kafka&zookeeper
1、下载镜像#下载zookeeperdocker pull wurstmeister/zookeeper#下载kafkadocker pull wurstmeister/kafka#下载kafka-manager,这个可以不用要docker pull sheepkiller/kafka-manager2、启动镜像2.1、启动zookeeperdocker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeep原创 2021-08-25 15:22:35 · 375 阅读 · 0 评论 -
Kafka 为什么快的六个原因
1、利用Partition实现并行处理我们都知道Kafka是一个Pub-Sub的消息系统,无论是发布还是订阅,都要指定Topic。Topic只是一个逻辑的概念。每个Topic都包含一个或多个Partition,不同Partition可位于不同节点。一方面,由于不同Partition可位于不同机器,因此可以充分利用集群优势,实现机器间的并行处理。另一方面,由于Partition在物理上对应一个文件夹,几十多个Partition位于同一节点,也可以通过配置让同一节点上的不同Partition置于不同原创 2020-08-02 13:55:54 · 869 阅读 · 0 评论 -
Kafka入门实例
1.kafka介绍1.1 主要功能根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因 2:It lets you store streams of ...转载 2018-11-10 16:11:57 · 300 阅读 · 0 评论 -
(1)Kafka简介
1、消息系统分类2、消息系统适用场景解耦 ——各位系统之间通过消息系统这个统一的接口交换数据,无须了解彼此的存在 冗余 ——部分消息系统具有消息持久化能力,可规避消息处理前丢失的风险 扩展 ——消息系统是统一的数据接口,各系统可独立扩展 峰值处理能力 ——消息系统可顶住峰值流量,业务系统可根据处理能力从消息系统中获取并处理对应量的请求 可恢复性 ——系统中部分组件失效并不会影响...原创 2018-12-11 08:58:13 · 178 阅读 · 0 评论 -
(2)Kafka架构分析
1、Kafka架构2、Topic & Partition2.1、Topic:逻辑概念,同一个Topic的消息可分布在一个或多个节点(Broker)上 一个Topic包含一个或者多个Partition 每条消息都属于且仅属于一个Topic Producer发布数据时,必须指定将该消息发布到哪一个Topic Consumer订阅消息时,也必须指定订阅哪个Topic的消息...原创 2018-12-11 08:58:32 · 210 阅读 · 0 评论 -
(3)Kafka HA
1、CAP理论Consistency通过某个节点的写操作结果对后面通过其它节点的读操作可见 如果更新数据后,并发访问情况下可立即感知该更新,称为强一致性 如果允许之后部分或者全部感知不到该更新,称为弱一致性 若在之后的一段时间(通常该时间不固定)后,一定可以感知该更新,称为最终一致性Availability任何一个没有发生故障的节点必须在有限的时间内返回合理的结果Partit...原创 2018-12-11 08:58:44 · 224 阅读 · 0 评论 -
常用消息队列对比、选择参考和消息队列认知
目录:1、消息队列之常用协议1.1、AMQP1.2、MQTT协议1.3、STOMP协议1.4、XMPP协议2、消息队列之模型3、消息队列的组成模块4、常用消息队列介绍4.1、RabbitMQ4.2、ActiveMQ4.3、RocketMQ4.4、Kafka5、结论:1、消息队列之常用协议1.1、AMQPAMQP即Advanced ...原创 2019-01-01 23:15:25 · 1251 阅读 · 0 评论 -
zookeeper和kafka集群环境搭建
目录:1、准备工作2、开始搭建2.1、配置&安装Zookeeper2.2、修改配置文件2.3、创建myid文件:2.4、启动服务并查看2.4、配置&安装Kafka2.5、修改kafka配置文件2.6、启动Kafka集群并测试本文只讲述Kafka集群环境的搭建步骤,后续会对kafka的其他相关知识进行整理.1、准备工作Linux服务器-...原创 2019-01-19 22:29:25 · 319 阅读 · 0 评论