kafka
诸葛子房_
先后就职于京东和BAT,在大数据领域有多年工作经验;
Apache Griffin&&Apache Zeppelin Contributor,dataCompare和dataService作者
展开
-
kafka topic 管理api
1.使用AdminClient进行处理2.topic 创建、删除等操作代码pom文件<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dep..原创 2021-09-27 17:19:36 · 199 阅读 · 0 评论 -
查看zk 信息
Releases · vran-dev/PrettyZoo (github.com)查看zk节点信息原创 2021-09-17 18:48:15 · 460 阅读 · 0 评论 -
docker 安装kafka
1.下载zk 和kafkadocker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka2.启动zk 和kafkadocker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeperdocker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONN原创 2021-09-16 19:30:50 · 184 阅读 · 0 评论 -
kafka 文件解析
1、topic 按照partition存储,每个partition为一个目录,partiton命名规则为topic名称+有序序号2、partition中的存储–分段(segment)下面是segment存储方式:一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定,控制每个segment的大小)3、partiton中segment文件存储结构接下来看看segment的存储结构,本节深入分析partion中segment...转载 2021-05-11 17:17:47 · 751 阅读 · 0 评论 -
kafka源码解析——第一篇:producer
1.生产者代码import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clie...原创 2020-01-14 10:57:48 · 305 阅读 · 0 评论 -
kafka零拷贝
在上一文中“图解Kafka消息是被怎么存储的?”,我们了解了Kafka内部是如何存储数据的,其中我们提到了Kafka之所以那么快的另外一个原因就是零拷贝(zero-copy)技术。本文我们就来了解Kafka中使用的零拷贝技术为什么那么快。传统的文件拷贝传统的文件拷贝通常需要从用户态去转到核心态,经过read buffer,然后再返回到用户态的应用层buffer,然后再从用户态把数据拷贝到核...原创 2019-11-29 11:57:17 · 916 阅读 · 0 评论 -
kafka幂等
在之前的旧版本中,Kafka只能支持两种语义:At most once和At least once。At most once保证消息不会朝服,但是可能会丢失。在实践中,很有有业务会选择这种方式。At least once保证消息不会丢失,但是可能会重复,业务在处理消息需要进行去重。、 Kafka在0.11.0.0版本支持增加了对幂等的支持。幂等是针对生产者角度的特性。幂等可以保证上生产者发送的...转载 2019-10-11 14:23:40 · 1057 阅读 · 0 评论 -
kafka监控
使用kafka也有一段时间,了解到Kafka Eagle,和萝莉哥沟通,也算是部署起来;支持数据查看消费、挤压等等、数据大屏、特别感谢萝莉哥参考:哥不是小萝莉https://www.cnblogs.com/smartloli/p/9371904.html配置文件:kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.lis...原创 2019-10-10 09:47:26 · 152 阅读 · 0 评论 -
kafka安装
1.kafka安装(brew)brew install kafka安装会依赖zookeeper。 注意:安装目录:/usr/local/Cellar/kafka/0.10.2.02.安装位置/usr/local/etc/kafka/server.properties/usr/local/etc/kafka/zookeeper.properties3.启动(1)zk...原创 2019-07-02 18:24:00 · 213 阅读 · 0 评论 -
kafka安装
kafka安装文章转载自https://www.cnblogs.com/lnice/p/9668750.html1. 安装JDK1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" ...原创 2019-05-06 14:40:00 · 99 阅读 · 0 评论 -
写入内容丢失,各种数据库或者存储系统如何处理?
突发宕机,Kafka写入的数据如何保证不丢失?我们暂且不考虑写磁盘的具体过程,先大致看看下面的图,这代表了 Kafka 的核心架构原理。Kafka 分布式存储架构那么现在问题来了,如果每天产生几十 TB 的数据,难道都写一台机器的磁盘上吗?这明显是不靠谱的啊!所以说,这里就得考虑数据的分布式存储了,我们结合 Kafka 的具体情况来说说。在 Kafka 里面,有一个核心...原创 2019-08-02 10:01:19 · 358 阅读 · 0 评论 -
Kafka如何实现每秒上百万的超高并发写入?
Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。页缓存技术 + 磁盘顺序写首先 Kafka 每次接收到数据都会往磁盘上去写,如下图所示:那么在这里我们不禁有一个疑问了,如果把数据基于磁...转载 2019-08-02 09:13:32 · 374 阅读 · 0 评论 -
kafka原理
削峰填谷(MQ 拉)https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651960021&idx=1&sn=4bbe275c249a70ab20e36959fc01d4e0&chksm=bd2d07098a5a8e1fd9b505778b551002ab59c35953fa3deaaddc79e3f...原创 2019-07-17 20:45:38 · 148 阅读 · 3 评论 -
kafka写入和消费流程
producer(生产)ack:0(写入即可),1(主),all(主、备同步完成)写入快的原因:(1)写内存 (2)磁盘----循序写、追加cosumer(消费)0拷贝原创 2019-07-17 20:35:10 · 1273 阅读 · 0 评论 -
kafka入门demo
1.引入jar 1 2 3 4 5 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> &l...原创 2019-07-04 16:56:11 · 278 阅读 · 0 评论