![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 87
waynewwei
加油⛽️
展开
-
kafka 常见问题
kafka 常见问题 kafka 如何优雅关闭 常用的方式采用jps或者ps ax配合kill -9的方式来快速关闭服务进程。kill -9 是一种强制关闭,不会等待kafka进程合理关闭一些资源以及保存一些运行数据之后再实时关闭。 一般用户希望主动关闭正常运行的服务,我们可以使用kafka自带的kafka-server-stop.sh来关闭 SIGNAL=${SIGNAL:-TERM}PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep jav.原创 2021-01-14 10:10:29 · 357 阅读 · 0 评论 -
kafka 高吞吐量
kafka 高吞吐量介绍 零拷贝 将数据直接从磁盘文件复制到网卡设备中,而不需要经过应用程序,减少了内核和用户模式之间的上下文切换,依赖于底层的senffile()方法。 内核态是对系统硬件资源的控制,用户态是应用程序,上层应用。在系统调用的时候,会发生用户从用户态到内核态的上下文切换。 如果我们需要将数据展示给用户,我们就需要先将数据拷贝到内存,在从内存把数据放到socket,展示给用户。 通过sendfile系统调用,提供了零拷贝。数据通过DMA(Direct.原创 2021-01-14 10:07:10 · 876 阅读 · 0 评论 -
kafka 生产者
kafka 生产者 kafka 发送数据流程 kafka 发送数据分两个线程,主线程和sender线程,在我们使用KafkaProducer的就会帮我们实例化一个sender线程(kafka-producer-network-thread|加clientId) 主线程:由KafkaProducer创建消息,经过拦截器、序列化器、分区器,负责发送数据到RecordAccumulator,然后缓存消息,以便sender可以批量发送。RecoredAccumulator里面会为...原创 2021-01-14 09:55:07 · 73 阅读 · 0 评论 -
kafka 基础
kafka 基础架构 kafka 体系结构 kafka 多个副本 名词 介绍 producer 生产者、发送数据的一方,负责创建消息,投递到kafka consumer 消费者、接受数据的一方,负责接受数据,执行业务的逻辑处理 Consumer Group 消费者组、组内可以包含多个消费者,一个消息可以被多个消费者组消费,但是只能被一个消费者组中的消费者消费 Zookeeper 维护和协调 broker,负责 B..原创 2021-01-14 09:46:17 · 92 阅读 · 0 评论