kafka初探--基本概念

最新推荐文章于 2024-06-10 13:51:43 发布
最新推荐文章于 2024-06-10 13:51:43 发布
阅读量194 收藏
点赞数
分类专栏： linux 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zKUN_bit/article/details/107890443
版权
Kafka的特性：

高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。

可扩展性：kafka集群支持热扩展

持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）

高并发：支持数千个客户端同时读写

Topic
  • Topic是Kafka数据写入操作的基本单元，可以指定副本
  • 一个Topic包含一个或多个Partition，建Topic的时候可以手动指定Partition个数，个数与服务器个数相当
  • 每条消息属于且仅属于一个Topic
  • Producer发布数据时，必须指定将该消息发布到哪个Topic
  • Consumer订阅消息时，也必须指定订阅哪个Topic的信息

Partition

  • 每个Partition只会在一个Broker上，物理上每个Partition对应的是一个文件夹

  • Kafka默认使用的是hash进行分区，所以会出现不同的分区数据不一样的情况，但是partitioner是可以override的

  • Partition包含多个Segment，每个Segment对应一个文件，Segment可以手动指定大小，当Segment达到阈值时，将不再写数据，每个Segment都是大小相同的

  • Segment由多个不可变的记录组成，记录只会被append到Segment中，不会被单独删除或者修改，每个Segment中的Message数量不一定相等

  • 每个Partition只会在一个Broker上，物理上每个Partition对应的是一个文件夹

  • Partition包含多个Segment，每个Segment对应一个文件，Segment可以手动指定大小，当Segment达到阈值时，将不再写数据，每个Segment都是大小相同的

  • Segment由多个不可变的记录组成，记录只会被append到Segment中，不会被单独删除或者修改，每个Segment中的Message数量不一定相等

consumer group
  • 一个组中有多个consumer，他们公用一个groupid
  • 组内所有的消费者协调在一起来消费订阅的topic中的partition，不过每个分区只能由一个消费组中的一个consumer来消费
  • 一个partition的message可以被多个消费者消费，但是每个consumer必须是不同的consumer group中的
zKUN_bit
关注
专栏目录
kafka的一万字精华总结
h295928126的博客
12-25 2115
kafka的一万字精华总结
微服务学习之rockectmq
Herry_Xia的博客
09-15 1196
rocketmq的安装 安装配置 jdk8 上传jdk压缩文件 将文件jdk-8u212-linux-x64.tar.gz上传到 /root 目录 2. 解压缩 执行解压命令 #将jdk解压到 /usr/local/ 目录 tar -xf jdk-8u212-linux-x64.tar.gz -C /usr/local/ #切换到 /usr/local/ 目录, 显示列表, 查看解压缩的jdk目录 cd /usr/local 配置环境变量 修改 /etc/profile 配置文件, 配置环境变量
kafka存储结构
猪头三
04-23 3053
相关概念 topic 主题，特指kafka处理的消息源的不同分类 partition topic物理上的分组，一个topic可以分为多个partition message 消息，是通信的基本单位 存储结构 topic结构 topic包含多个partition， topic只是逻辑概念，不涉及到存储，partition才是物理概念 同一topic的不同partition可...
tf.segment_sum详解
cherry593的博客
03-08 3294
定义 tf.segment_sum( data, segment_ids, name=None ) Computes the sum along segments of a tensor. 对输入数据data进行分割，并按对应下标进行求和。 输入数据 data为待分割数据 segment_ids为分割下标。segment_ids的大小应与data的第一个维度长度（k）相同...
Kafka（一）理论篇（概述、基本术语、工作原理与工作过程、消息路由、HW截断机制..）
语雀同名：犬豪 yuque.com/qhao
09-16 1127
1. 概述 1.1 kafaka 简介 Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（例如 ActiveMQ、RabbitMQ），Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。 Kafka 官网： http://kafka.apache.org/ 1.2 Kafa 系统架构 老版架构图： 新版架构图，因为
平台搭建---kafka使用---基本使用
06-28 3008
主要是记录默认端口 应用名称 识别码 应用类型 协议和端口 描述 pop3邮件 5 普通应用 TCP:110 pop3邮件 ftp-data 20 ftp数据端口 ftp 21 文件传输协议（FTP）端口；有时也被文件服务协议（FSP）使用 ssh 22 安全S...
Kafka 初探
qq_44503377的博客
11-17 148
《深入理解kafka：核心设计与实践原理》笔记 一、什么是 Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量的，多分区、多副本且基于 Zookeeper协调的分布式发布订阅消息系统。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成
kafka初探
大猩猩的博客
05-31 178
kafka之所以受到越来越多的青睐，与它所扮演的三大角色是分不开的的： 消息系统：kafka与传统的消息中间件都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，kafka还提供了大多数消息系统难以实现的消息顺序性保障及回溯性消费的功能。 存储系统：kafka把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效的降低了消息丢失的风险。这得益于其消息持久化和多副本机制。也可以将kafka作为长期的存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题日志
Kafka初探：理解消息队列和发布订阅模式
## 1.1 消息队列的概念 消息队列（Message Queue）是一种应用程序间通信的方式，它将消息从一个应用程序传送到另一个应用程序。消息队列允许异步通信，发送消息的应用程序不需要等待接收消息的应用程序的响应。这种...
flink1.12入门到精通视频课程
07-15
07-[掌握]-Source-Transformation-基本操作 08-[掌握]-Source-Transformation-合并和连接 09-[掌握]-Source-Transformation-拆分和选择 10-[掌握]-Source-Transformation-重平衡分区 11-[掌握]-Source-...
消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ
m0_67322837的博客
09-18 529
消息队列是在消息的传输过程中保存消息的容器，用于接收消息并以文件的方式存储，一个消息队列可以被一个也可以被多个消费者消费，包含以下 3 元素：Producer：消息生产者，负责产生和发送消息到 Broker；Broker：消息处理中心，负责消息存储、确认、重试等，一般其中会包含多个 Queue；Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理。
大数据学习笔记59：初探Kafka消息系统
howard2005的专栏
04-19 685
搭建完全分布式Kafka、使用Kafka、Java程序操作Kafka
初探RocketMQ
最新发布
冲出仁川，走出马德里，故事还会再继续
06-10 390
随着使⽤中队列和虚拟主题的增加，阿⾥巴巴团队使⽤的ActiveMQ IO 模块达到了瓶颈。为了尽⼒通过节流、断路器或降级来解决这个问题，但效果不佳。所以开始关注当时流⾏的消息传递解决⽅案Kafka。不幸的是， Kafk⽆法满⾜要求，尤其是在低延迟和⾼可靠性⽅⾯。在这种情况下，决定发明⼀种新的消息传递引擎来处理更⼴泛的⽤例，从传统的发布/订阅场景到⼤容量实时零丢失交易系统。⽬前RocketMQ已经开源给Apache基⾦会。如今，已有 100 多家公司在其业务中使⽤开源版本的 RocketMQ。消息产品。
shell脚本编写创建10个用户
zKUN_bit的博客
01-26 3995
Linux下编写shell脚本 实现创建10个用户，并设置10个不同的8个长度的密码 #!/bin/bash for i in $(seq -w 10) do useradd user$1 echo `id user$i` echo "password$1" | md5sum | cut -c -8 | tee -a passwd.txt | passwd --stdin user$i...
linux的centos8下的文件系统详解--学习心得
zKUN_bit的博客
03-05 2585
文章目录文件系统一个文件的组成：stat 查看文件信息目录项inode号：文件的编号block： 真正存放数据的地方，一个文件一般对应着多个block重要的参数：软链接和硬链接 文件系统 思考： 文件系统是什么？ 管理文件和目录的一套机制（方法） 1.文件存取 2.文件的查找 3.文件的大小--》2T ext3--》不能超过2T fat32 --》4G 4.一个目录可以存...
Linux -- umount磁盘卸载失败怎么办？
zKUN_bit的博客
02-26 2169
问题描述： 因为挂载错了，想取消挂载，但是umount报告如下错误： [root@chris /]# umount /dev/sdc1 umount: /data1: target is busy. (In some cases useful info about processes that use the device is found by lsof(8) ...
linux-shell编程三剑客之--sed
zKUN_bit的博客
04-22 1005
文章目录sed --》 sed [选项] [命令] [文件]常用选项：常用命令：sed的单引号和双引号sed查找方式sed中的三种替换标记：g/p/wsed中的s命令 sed --》 sed [选项] [命令] [文件] 常用选项： -n：只显示匹配处理的行 -i：直接在文件中进行修改 -r：对扩展正则的支持（基本正则中：^$\d这样的元字符很少） 常用命令： p：打印匹配行...
CentOS8下--手把手教你使用Zabbix4.4
zKUN_bit的博客
03-14 569
Zabbix https://mirrors.aliyun.com/zabbix/zabbix/4.4/rhel/8/x86_64/ zabbix server： 中央情报局，监控程序 zabbix_get: 监控服务器通知代理程序上报采集的信息 zabbix_server.conf： zabbix_server.log zabbix agentd：代理程序 间谍程序 采集–》os、设...
Kafka-Eagle监控工具：安装与使用指南
"本文主要介绍了Kafka监控工具Kafka-Eagle的使用，包括其简介、部署和验证。Kafka-Eagle是一款开源免费的Kafka集群监控工具，能够监控offset、lag变化、partition分布和owner等关键信息。文章还提到了开启Kafka JMX...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值