Kafka
Kafka
xiaolyuh123
凡是过去,皆为序幕
展开
-
Kafka 入门
消息中间件基本架构消息中间件基本上可以分为三部分:Product 生产者,消息的产生方,生产者会将消息发送到消息队列。queue 消息队列,接受并存储生产者的消息。Consumer 消费者,消费消息队列中的消息。消息中间件的作用消息队列的主要作用削峰填谷、异步、解耦。消费消息的两种模式消息消费的两种模式,发布订阅模式和点对点模式:发布订阅模式(一对多)消费者消费完消息后,消息不会被删除,消息会存储一段时间,这种模式下的消息会被所有消费者消费。这种模式下消费消息又有两种方式:原创 2020-09-27 16:18:13 · 1672 阅读 · 0 评论 -
Kafka 入门代码示例
kafka 生产者配置类/** * kafka配置类 * * @author olafwang * @since 2020/9/29 2:45 下午 */@Configurationpublic class KafkaConfig { @Bean public KafkaProducer<String, String> producerRecord() { Properties properties = new Properties();原创 2020-10-30 19:20:06 · 661 阅读 · 0 评论 -
Kafka Docker安装配置
下载docker镜像docker pull wurstmeister/kafkadocker pull wurstmeister/zookeeper启动zk容器docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeperolafwang@OLAFWANG-MB0 ~ % docker run -d -name zookeeper -p 2181:2181 wurstmeister/zookeeperunknown sh原创 2020-09-27 20:06:39 · 3259 阅读 · 0 评论 -
Kafka 架构设计
Kafka 总体架构kafka的总体架构还是遵循消息中间件的架构,即产生消息->存储消息->消费消息。Kafka 生产者设计Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了 两个线程即主线程和 Sender 线程,以及一个缓冲区RecordAccumulator。RecordAccumulator:消息发送的内存缓冲区域,当该区域满了一后,生产者要么被阻塞,要么会抛出异常;RecordAccumulator 内部为每个分区都维护了一个双原创 2020-10-30 11:13:12 · 343 阅读 · 2 评论 -
Kafka Eagle 安装
Kafka Eagle是kafka的web版的管理页面:源码: https://github.com/smartloli/kafka-eagle/下载: http://download.kafka-eagle.org/安装文档: http://www.kafka-eagle.org/articles/docs/installation/linux-macos.html0. 打开Kafka broker JMXKafka Eagle获取监控数据是通过JMX(Java Managent Exten原创 2020-09-30 14:13:37 · 1877 阅读 · 0 评论 -
Kafka 调优
生产者缓冲区大小与Sender线程发送包大小从生产者架构图我们可以看出,有两个地方是比较重要且影响性能的:RecordAccumulator内存缓冲区;Sender线程的两个阈值;batch.size:只有数据积累到 batch.size之后,sender 才会发送数据,默认16kb。linger.ms:如果数据迟迟未达到 batch.sizesender 等待 linger.time之后就会发送数据。buffer.memory:RecordAccumulator 缓冲区大小 默认3.原创 2020-10-30 17:59:04 · 1719 阅读 · 0 评论