![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka笔记
文章平均质量分 94
泡椒酱的java学习记录
Java、大数据
展开
-
kafka启动报错:java.lang.OutOfMemoryError: Map failed
kafka原来启动运行的时候,集群启动时正常的,今天在用kafka测试的时候,启动kafka集群,其中的两个节点启动失败,报错如下:java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.AbstractInde...原创 2019-03-17 17:32:29 · 6944 阅读 · 0 评论 -
Kafka学习笔记--基础
参考:深入理解Kafka核心设计和实践原理1、消息队列消息队列有两种模式:点对点(P2P)模式和发布订阅(Pub/Sub)模式。点对点模式是基于队列的,消息的产生者发送消息到队列,消息的消费者才能够这个队列中接收消息。发布订阅模式定义了如何向一个内容节点发布和订阅消息,这个内容的节点就是topic。topic可以看做是一个消息传递的中介,生产者将消息发送到这个topic,消息的消费者从这个to...原创 2019-04-17 00:46:43 · 234 阅读 · 0 评论 -
Kafka学习笔记--基础
参考:深入理解Kafka核心设计和实践原理8、数据保存策略每个partition物理上对应一个文件夹,此文件叫存储该partition中所有消息和索引文件;1、基于时间的保存策略:log.retition.hours=168(一周)2、基于大小的保存策略:log.retention.bytes=1073741824(1G)9、kafka的消费过程kafka提供了高级consumerAP...原创 2019-04-17 00:57:12 · 302 阅读 · 0 评论 -
Kafka学习--进阶01
参考:深入理解Kafka核心设计和实践原理1、基本概念Producer:负责生产消息,并将其push到Kafka中。Consumer:负责连接到Kafka并pull消息,对消息进行后续的处理。Broker: 服务得到代理节点,你的一个虚拟机可以看做是一个单独的Kafka Broker:一个或者多个broker可以看做是一个Kafka集群。Topic:逻辑概念,kafka的消息是以topi...原创 2019-04-22 00:22:26 · 168 阅读 · 0 评论 -
Kafka学习--进阶02
参考:深入理解Kafka核心设计和实践原理5、分区分区器:为消息指定对应的分区。消息通过send()方法发往broker的过程中,还有可能经历拦截器、序列化器和分区器的才能到达broker上。如果发送的消息没有带partition的话那么就需要利用分区器家昂消息发往对应的partition中,分区器根据key这个字段计算partition的值。分区器对key进行哈希,利用MurmurHas...原创 2019-04-22 00:37:45 · 127 阅读 · 0 评论 -
Kafka学习--进阶03
参考:深入理解Kafka核心设计和实践原理7、Producer原理:先上图:整个生产者客户端是由两个线程 协调运行,这两条下城分别为主线程和sender线程。在主线程中由KafkaProducer创建消息,然后通过可能的拦截器、序列化器、分区器等将消息缓存到消息累加器中,sender线程负责从消息累加器中获取消息并将其发送到Kafka中。消息累加器主要是用来缓存消息以便sender线程可...原创 2019-04-22 00:56:56 · 1171 阅读 · 0 评论 -
Kafka学习--进阶04
参考:深入理解Kafka核心设计和实践原理7、消息的消费:消息的消费一般基于两种模式:push模式和pull模式,即主动推模式和主动拉模式。推模式是服务端主动将消息推送给消费者,拉模式是消费者主动从服务端发起请求来拉取消息。// 轮询拉取消息之前必须订阅topic 否则会报错。@Overridepublic ConsumerRecords<K, V> poll(long t...原创 2019-04-23 00:02:12 · 696 阅读 · 0 评论 -
Kafka学习--进阶05
参考:深入理解Kafka核心设计和实践原理9、 Kafka的多线程实现:KafkaProducer是线程安全的,但是KafkaConsumer不是线程安全的。多线程消费实例:package com.paojiaojiang.consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.KafkaStream;i...原创 2019-04-23 00:48:15 · 224 阅读 · 0 评论