![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 93
炒栗子不加糖
这个作者很懒,什么都没留下…
展开
-
管理Kafka集群
管理Kafka集群集群管理启动broker启动Kafka服务器需要首先启动ZooKeeper服务器,Kafka使用ZooKeeper作为集群的管理服务。在生产环境中启动Kafka建议使用-daemon参数启动bin/kafka-server-start.sh -damon <path>/server.properties不要使用如下方式启动服务bin/kafka-server-start.sh <path>/server.properties &虽然通过添加原创 2021-09-11 12:26:16 · 917 阅读 · 0 评论 -
Kafka分享总览
Kafka分享总览背景介绍架构演变垂直应用架构以经典的MVC垂直架构为例mvc架构主要分为三层视图层,交互界面控制层,前端web请求分发应用模型层,主要业务逻辑对于应用规模较小时,还能支撑业务发展。随着系统逐渐增大,会出现很多弊端开发维护成本变高,部署效率逐渐降低团队协作效率差,功能重复开发,代码重复率高系统可靠性差。访问量升高,对网络流量、负载、数据库连接压力变大。某个节点故障,导致分摊到其他节点的流量陡增,引起"雪崩效应"维护定制困难新功原创 2021-09-07 14:27:39 · 266 阅读 · 0 评论 -
调优Kafka集群
调优Kafka集群在软件工程领域,非功能性需求是依照某些条件判断系统运行情形或特性,而不是针对系统特定行为的需求,常见非功能需求如下性能:最重要的非功能需求之一,大多数生产环境对集群性能有着严格的要求,不同的系统对于性能有不同的诉求,对于Kafka而言,性能一般指吞吐量和延时两方面吞吐量:broker或clients应用程序每秒能处理多少字节或消息延时:通常指producer端发送消息到broker端持久化保存消息之间的时间间隔。该概念也用于统计端到端的延时,比如producer端发送一原创 2021-04-29 00:46:57 · 516 阅读 · 0 评论 -
监控Kafka集群
监控Kafka集群本文主要讲解Kafka集群监控指标及如何监控Kafka集群集群健康检查对一个Kafka生产环境集群我们需要重点关注如下内容所有broker执行状态,包括运行状态、所属版本、底层日志路径磁盘使用情况、所在机器的物理负载情况、系统日志是否有严重错误等ZooKeeper运行状态,包括版本、底层文件系统使用情况,特别是快照所在磁盘空间、所在机器物理负载情况等集群中所有主题分布以及分区状态,包括所有topic的分区情况以及每个分区leader副本的存活情况等客户端应用运原创 2021-04-15 20:32:32 · 1477 阅读 · 0 评论 -
Kafka设计原理
Kafka设计原理broker端设计架构broker是Apache Kafka最重要的组件,本质上它是一个功能载体,承载了绝大多数的Kafka服务。一个broker通常是以服务器形式出现,broker的主要功能就是持久化消息以及将消息队列中的消息从发送端传输到消费端。Kafka broker负责持久化producer端发送消息,同时为consumer端提供消息。我们将从以下8个方面讨论Kafka broker端设计消息设计集群管理副本与ISR机制日志存储请求处理协议controller设计原创 2021-02-10 23:04:38 · 580 阅读 · 0 评论 -
Kafka consumer
Kafka consumerconsumer概览消费者组消费者组定义:消费者使用一个消费者组名(即group.id)来标记自己,topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者实例上一个consumer group可能有若干个consumer实例对于同一个group而言,topic的每条消息只能被发送到group下的一个consumer实例上topic消息可以被发送到多个group中Kafka同时支持基于队列和基于发布/订阅的两种消息引擎模型,事实上Kafka是通过con原创 2021-02-10 20:33:43 · 5406 阅读 · 0 评论 -
Kafka producer
Kafka producerproducer概览Kafka producer客户端负责向Kafka写入数据的应用程序。Kafka提供了多个语言版本的producer客户端。Kafka封装了一套二进制通信协议,对于producer而言,用户可以直接使用任意语言按照该协议的格式进行编程,实现消息的发送。producer之间是相互独立的,producer首要功能就是向某个topic的某个分区发送消息,由分区器确定往topic的哪个分区发送消息,Kafka producer提供了一个默认的分区器,每条待发送消原创 2021-02-10 16:26:04 · 523 阅读 · 0 评论 -
Kafka线上环境部署
Kafka线上环境部署集群环境规划操作系统选型I/O模型。当前主流的5种I/O模型:阻塞I/O、非阻塞I/O、I/O多路复用、信号驱动I/O和异步I/O,每一种I/O模型都有典型的使用场景,比如Socket的阻塞模式和非阻塞模式就对应I/O阻塞、非阻塞I/O,Linux的select函数属于I/O多路复用模型,Windows的IOCP属于异步I/O模型,Linux epoll兼具I/O多路复用、信号驱动I/OKafka clients底层网络库采用Java的Selector机制,在Linux上的实现原创 2021-02-10 15:36:35 · 210 阅读 · 0 评论 -
Kafka简介
Kafka简介高性能的消息发送与高性能的消息消费快速入门创建topic启动服务后,我们需要创建一个主题(topic)用于消息的发送与接收,并且分区(partition)数、副本(replica)数都指定为一 bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test -- partitions 1 --replication-factor 1查看topic状态 bin/kafka-topic.sh --de原创 2021-02-06 11:50:26 · 332 阅读 · 0 评论