![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
bigdata_05_消息队列
文章平均质量分 92
消息队列
最佳第六六六人
一只威武的大数据架构攻城狮
展开
-
Kafka知识点大汇总
1 Kafka中的一些数量1.1 Kafka的个数Kafka的个数一般是3-5个计算公式为:(生产者生产速率×副本个数/100)×2 + 11.2 Kafka分区的个数Kafka的分区的个数一般是3-10个计算公式为:期望峰值速率/min(生产速率,消费速率)1.3 Kafka的副本个数kafka的副本一般设置为3个,很多企业大都设置为2个副本的个数越多可靠性越高,但是副本越多增加了网络IO传输压力1.4 Kafka日志保存的时间Kafka日志默认保存的时间是7天实际生产环境下一般保原创 2021-04-04 20:47:57 · 1897 阅读 · 0 评论 -
大数据6_06_Kafka监控-Eagle
6 Kafka监控eagle可以监控多套kafka集群,kafka通过jmx拉取数据。开启jmx拉取端口99996.1 安装配置eagle步骤1:修改kafka的启动命令sudo vim $KAFKA_HOME/bin/kafka-server-start.shif [ "x$KAFKA_HEAP_OPTS" = "x" ]; then # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export KAFKA_HEAP_OPTS="-serv原创 2020-11-11 13:13:03 · 158 阅读 · 1 评论 -
大数据6_05_Kafka API操作
5 Kafka API5.1 Producer API5.1.1 消息发送流程Kafka的Producer发送消息采用异步发送。ack只保证数据丢不丢和重复不重复的问题,并不会考虑同步还是异步发送。producer发送一批消息,发送给leader后,不用等接收到ack;就可以发下一批消息。而同步发送是:producer发送一批消息,发送给leader后,需要ISR内的所有follower接收到,并producer接收到ack,再发送下一批消息。会阻塞当前的线程。涉及到两个线程:ma原创 2020-11-11 13:10:09 · 192 阅读 · 0 评论 -
大数据6_04_Kafka架构原理
4 Kafka架构原理4.1 Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,partition是物理上的概念。每个partition对应一个log文件,log文件存放的是producer生产的数据。producer生产的数据会不断的追加到log文件末端,而且每一条数据都有自己的偏移量offset。消费者组中的消费者,都会实时记录自己消费到哪个offset,以便出错恢复时,从上次位置继续消费原创 2020-11-11 13:08:52 · 1335 阅读 · 4 评论 -
大数据6_01_Kafka概述-基础框架
1 Kafka概述1.1 Kafka是什么?Kafka是一个分布式的基于发布订阅模式的消息队列,并且是消费者主动拉取模式的。①什么是消息队列?消息队列是一种异步处理的方式。同步处理:相当于银行办理业务,需要你一直在那呆着。异步处理:相当于修手表,先放在修理店,你可以去干其他的事情,过段时间来取。消息队列具有解耦,可恢复,缓冲,灵活性高,异步处理等优点。②消息队列的两种模式一对一模式每一个消费者都会对应一个消息队列缺点:消息队列不能复用。用完就删除,如果有多个消费原创 2020-11-11 13:08:16 · 99 阅读 · 0 评论 -
大数据6_03_Kafka命令行操作
3 Kafka命令行操作总结:# 和topic有关的命令:都使用kafka-topics-sh --zookeeper hadoop102:2181 + 操作# 和生产消息有关的:使用broker-list 端口号使用9092kafka-console-sh --broker-list hadoop102:9092 + 操作# 和消费消息有关的:使用bootstrap-server 端口号使用9092kafka-console-sh --bootstrap-server hadoop102:9原创 2020-11-03 01:04:39 · 118 阅读 · 0 评论 -
大数据6_02_Kafka安装配置
2 Kafka安装配置2.1 集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka2.2 集群安装配置步骤1:解压安装包[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/步骤2:修改解压后的文件名称[atguigu@hadoop102 module]$ mv kafka_2.11-2.4.1.tgz原创 2020-11-03 01:03:21 · 89 阅读 · 0 评论