Kafka
文章平均质量分 88
你那是什么调调
股份制商业银行,运维开发
展开
-
(一)初识 Kafka
数据(消息)的发送者(发布者)不会直接把消息发送给接收者。发布者以某种方式对消息进行分类,接收者(订阅者)通过订阅它们来接收特定类型的消息。发布与订阅系统一般会有一个 broker,也就是发布消息的地方。Kafka 是一款基于发布与订阅模式的消息系统。一般被称为“分布式提交日志”或“分布式流式平台”。文件系统或数据库提交日志旨在保存事务的持久化记录,通过重放这些日志可以重建系统状态。同样,Kafka 的数据是按照一定的顺序持久化保存的,并且可以按需读取。原创 2023-06-12 11:22:11 · 1779 阅读 · 0 评论 -
(二)安装 Kafka
比如分区数和数据保留策略。还可以将服务器提供的默认配置作为基准,应用于集群内的大部分主题。原创 2023-06-09 15:59:38 · 1507 阅读 · 0 评论 -
(三)Kafka 生产者
假设你是 B2B 供应商,你有一个大客户,它是手持设备 Banana 的制造商。你的日常交易中有 10% 以上的交易与这个客户有关。如果使用默认的哈希分区算法,那么与 Banana 相关的记录就会和其他客户的记录一起被分配给相同的分区,导致这个分区比其他分区大很多。服务器可能会出现存储空间不足、请求处理缓慢等问题。因此,需要给 Banana 分配单独的分区,然后使用哈希分区算法将其他记录分配给其他分区。原创 2023-06-15 11:12:29 · 2486 阅读 · 0 评论 -
(四)Kafka 消费者
不同于传统的消息系统,横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序,实际上,Kafka 的一个主要设计目标是。在这些应用场景中,我们希望。原创 2023-07-06 11:21:10 · 2681 阅读 · 0 评论 -
Linux 环境下安装 Java
软连接相当于 Windows 系统中的快捷键,部分软件可能会从 /usr/bin 目录下查找 Java,因此添加该软连接防止其他软件查找不到的情况。原创 2023-06-09 09:11:11 · 546 阅读 · 0 评论 -
RabbitMQ,RocketMQ,Kafka,Pulsar 几种消息队列的对比
如果数据量很大,同时不希望有 Kafka 的高延迟,刚好业务场景是金融场景。,像收集日志、监控信息或是前端的埋点这类数据,或是你的应用场景大量使用 了大数据、流计算相关的开源产品,那。可用性:非常高,kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用。功能支持:功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。这是一款为大数据而生的消息中间件,在数据采集、传输、存储的过程中发挥着举足轻重的作用。极低的发布延迟和端到端延迟。原创 2023-06-05 15:03:28 · 1577 阅读 · 0 评论