消息中间件(KAFKA、ActiveMQ、RabbitMQ)
KAFKA、ActiveMQ、RabbitMQ
plenilune-望月
这个作者很懒,什么都没留下…
展开
-
kafka常用命令汇总
新建topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic test-service 删除topic bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test-clinet 消费topic新方式 bin/kafka-console-consumer.sh --boot原创 2021-01-07 14:42:26 · 269 阅读 · 0 评论 -
Kafka(八) Kafka配置信息详细参描述(Broker、Producer、Consumer)
Kafka配置信息详细参描述(Broker、Producer、Consumer) 8.1 Broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition..原创 2020-11-12 11:36:16 · 181 阅读 · 0 评论 -
Kafka(七) Kafka与Flume比较及集成
Kafka与Flume比较及集成 7.1 Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么: flume:cloudera公司研发: 适合多个生产者; 适合下游数据消费者不多的情况; 适合数据安全性要求不高的操作; 适合与node生态圈对接的操作。 kafka:linkedin公司研发: 适合数据下游消费众多的情况; 适合数据安全性要求较高的操作,支持replication。 因此我们常用的一种模型是: 线上数据 --> f.原创 2020-11-12 11:32:40 · 187 阅读 · 0 评论 -
Kafka(六) Kafka Streams
Kafka Streams 6.1 概述 6.1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。 6.1.2 Kafka Streams特点 1)功能强大 高扩展性,弹性,容错 2)轻量级 无需专门的集群 一个库,而不是框架 3)完全集成 100%的Kafka 0.10.0版本兼容 易于集成到现有的应用程序 4)实时性 ...原创 2020-11-12 11:29:02 · 237 阅读 · 0 评论 -
Kafka(五) Kafka producer拦截器(interceptor)
Kafka producer拦截器(interceptor) 5.1 拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。 对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Inte原创 2020-11-12 11:23:03 · 171 阅读 · 0 评论 -
Kafka(四) Kafka API实战
第4章 Kafka API实战 4.1 环境准备 1)启动zk和kafka集群,在kafka集群中打开一个消费者 [atguigu@node102 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper node102:2181 --topic first 2)导入pom依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/k...原创 2020-11-12 11:14:06 · 207 阅读 · 0 评论 -
Kafka(三) Kafka工作流程分析
第3章 Kafka工作流程分析 Kafka核心组成 3.1 Kafka生产过程分析 3.1.1写入方式 producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。 3.1.2 分区(Partition) 消息发送时都被发送到一个topic,其本质就是一个目录,而topic是由一些Partition Logs(分区日志)组成,其组织结构如下图所示:..原创 2020-11-12 11:10:06 · 112 阅读 · 0 评论 -
Kafka(二) Kafka集群部署
2、Kafka集群部署 2.1 环境准备 2.1.1 集群规划 node102 node103 node104 zk zk zk kafka kafka kafka 2.1.2 jar包下载 http://kafka.apache.org/downloads.html 2.2Kafka集群部署 ..原创 2020-11-12 10:56:40 · 126 阅读 · 0 评论 -
Kafka(一) Kafka概述
1.1 消息队列 消息队列内部实现原理 (1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。 (2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者) 发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者,临时订阅者只在主动监听主题时才接收消息,而持久订原创 2020-11-12 10:35:35 · 96 阅读 · 0 评论