kafka
文章平均质量分 85
worldchinalee
这个作者很懒,什么都没留下…
展开
-
零拷贝详解
什么是零拷贝维基上是这么描述零拷贝的:零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务,这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。零拷贝给我们带来的好处减少甚至完全避免不必要的CPU拷贝,从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换零拷贝的实现零拷贝实际的实现并没有真正的标准,取决于操作系统如何实现这一点。零拷贝完全依赖于操作系统。操作系统支持,就有;不支持,就没有。转载 2020-09-10 14:34:39 · 1598 阅读 · 0 评论 -
一次因为kafka分区的leader不为优先副本导致的消费堆积问题的原因排查及问题解决方法
一次因为kafka分区的leader不为优先副本导致的消费堆积问题的原因排查及问题解决方法问题描述首先,收到了消息堆积的报警,查看监控发现延迟如下:接下来用kafka客户端脚本工具,查看具体延迟信息:发现延迟发生在2个partition(12,13)上,且消费者为同一台机器10.42.112.228问题排查过程消费端问题?因为延迟partition的消费者在同一台机器,所以开始怀疑是否消费端存在问题?因此,基本断定partition12、13所在的kafka服务端存在问.转载 2020-08-25 09:43:52 · 390 阅读 · 0 评论 -
kafka面试总结(二)
kafka 面试题1、如何获取 topic 主题的列表bin/kafka-topics.sh --list --zookeeper localhost:21812、生产者和消费者的命令行是什么?bin/kafka-console-producer.sh --broker-list 192.168.43.49:9092 --topic myTopicbin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic myT转载 2020-08-24 21:54:44 · 177 阅读 · 0 评论 -
Kafka源码环境搭建
1.安装和配置JDK确认JDK版本至少为1.7,最好是1.8及以上。使用java -version命令来查看当前JDK的版本,示例如下:C:\Users\hidden> java -versionjava version "1.8.0_112"Java(TM) SE Runtime Environment (build 1.8.0_112-b15)Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)2.下原创 2020-08-12 16:48:14 · 515 阅读 · 0 评论 -
面试|图解 kafka 的副本复制
对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据领域的事实标准,很大原因是因为运维起来很方便简单,今天我们来看下 kafka 是怎么来简化运维操作的。kafka 使用多副本来保证消息不丢失,多副本就涉及到kafka的复制机制,在一个超大规模的集群中,时不时地这个点磁盘坏了,那个点cpu负载高了,出现各种各样的问题,多个副本之间的复制,如果想完全自动化容错转载 2020-08-11 18:20:04 · 278 阅读 · 0 评论 -
kafka源码解析-分区副本的分配
主要介绍是未指定机架信息的分配策略,kafka版本是2.0.0,具体实现为kafka.admin.AdminUtils.scala文件中的assignReplicasToBrokersRackUnaware()方法,该方法的内容如下:private def assignReplicasToBrokersRackUnaware(nPartitions: Int,//分区数 ...原创 2019-08-31 16:01:09 · 477 阅读 · 0 评论 -
Kafka的Log存储解析
引言Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件系统中,比...转载 2019-02-25 21:33:13 · 3310 阅读 · 0 评论 -
Kafka源码分析-Producer-BufferPool
注:本文依赖于kafka-0.10.0.1-src 我们都知道kafka生产者send一条记录(record)后并没有直接发送到kafka服务端,而是先将它保存到内存(RecordAccumulator)中,用于压缩之后批量发送,这里内存的创建和释放是比较消耗资源的,为了实现内存的高效利用,基本上每个成熟的框架或者工具都有一套内存管理机制,kafka的生产者使用BufferPool来实现内存(...转载 2018-12-18 16:21:48 · 789 阅读 · 0 评论 -
Kafka0.10.0版本源码环境搭建
本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Windows操作系统下IntelliJ IDEA。1.安装和配置JDK最低需要jdk7,我安装的是jdk1.8.C:\Users\liwenqing>java -versionjava version "1.8.0_121"Java(TM) SE Runtime Environment (build 1.8.0_12...原创 2018-12-18 10:37:52 · 1781 阅读 · 0 评论 -
kafka官方文档中文
https://blog.csdn.net/memoordit/article/details/78850138转载 2018-12-07 15:52:43 · 3254 阅读 · 0 评论 -
Kafka系列之broker配置
本文档的参数主要针对是kafka 0.10.0版本。更多信息可以查看:官方文档kafka broker 配置对应kafka安装目录config/server.properties文件的配置broker.id每一个Kafka的broker都有一个整数的标识。我们设置broker.id来标识它。默认这个整数是0。这个整数必须是在一个集群中是唯一的,且必须>=0。推荐该值...原创 2018-12-07 11:27:17 · 6591 阅读 · 0 评论