![](https://img-blog.csdnimg.cn/20200722155810234.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
4.Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
SuperBigData~
大数据行业热爱者,欢迎交流学习,共同进步
展开
-
阅读源码,成为职业进阶道路上的“必选项”了吗?
得源码者,得天下一.为什么要读源码?二.为什么读源码逐渐成为了必选项?它究竟有什么作用呢?三.如何用最短的时间掌握最核心的源码?四.具体怎么做呢?五. Kafka 的源码全景图,找到核心的源码一.为什么要读源码?很多棘手的问题都要借助源码才能解决,因为底层解释的更详细准确。很多互联网公司资深技术岗位的招聘要求上,“读过至少一种开源框架的源码”赫然在列。这也就意味着,阅读源码正在从“加分项”向“必选项”转变,掌握优秀的框架代码实现从 NICE-TO-DO 变成了 MUST-DO。二.为什么读源码逐原创 2020-06-01 17:28:35 · 189 阅读 · 0 评论 -
1.kafka集群部署
点击下面,直接会跳到有道云笔记,知识点都在笔记里。kafka集群部署原创 2020-05-10 20:08:17 · 251 阅读 · 0 评论 -
kafka学习路线
点击下面,直接会跳到有道云笔记,知识点都在笔记里。kafka学习路线原创 2020-05-10 20:05:01 · 283 阅读 · 0 评论 -
kafka消费数据org.apache.kafka.common.errors.InvalidGroupIdException: The configured groupId is invalid报错
1.背景:在写kafka消费代码时,碰见的这个错误2.运行报错kafka.common.errors.InvalidGroupIdException: The configured groupId is invalid翻译下大致意思:kafka.common.errors.InvalidGroupIdException:配置的groupId无效3.解决办法这个报错,可能因为你...原创 2020-05-08 10:42:52 · 6293 阅读 · 0 评论 -
Error:java: Compilation failed: internal java compiler error编译报错
Java编译问题一.背景二.解决办法三.如何设置lambdas一.背景在IDEA中运行程序时,报错:Error:java: Compilation failed: internal java compiler error二.解决办法File–>Setting…–>Build,Execution,Deployment–>Compiler–>Java Compile...原创 2020-05-07 15:02:38 · 346 阅读 · 0 评论 -
kafka分区数只能增大,不能变小
kafka分区数变化一.背景二.为什么不支持减少分区?一.背景主题first本来有三个分区,现在想改成俩各分区,却报错了命令:bin/kafka-topics.sh --zookeeper bigdata111:2181 --alter --topic first --partitions 2报错信息:WARNING: If partitions are increased fo...原创 2020-05-07 14:48:30 · 846 阅读 · 0 评论 -
kafka文件底层存储机制
美图欣赏:分析过程分为以下4个步骤:topic中partition存储分布partiton中segment文件存储结构在partition中如何通过offset查找message一.topic中partition存储分布在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第...原创 2020-04-05 20:39:54 · 955 阅读 · 0 评论 -
Kafka消费模式详解
美图欣赏:一.Kafka是什么在流式计算中,Kafka一般用来缓存数据,spark通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...原创 2020-03-09 15:42:25 · 6870 阅读 · 0 评论 -
Kafka命令行操作
美图欣赏:kafka的环境变量已经配置好了(小细节)1)创建topic[root@bigdata111 kafka_2.11-2.1.1]# kafka-topics.sh --zookeeper bigdata111:2181 --create --replication-factor 2 --partitions 1 --topic 2020选项说明:--...原创 2020-02-04 17:53:56 · 261 阅读 · 0 评论 -
如何成功搭建Kafka集群
美图欣赏:声明:三台虚拟机搭建好Zookeeper集群了(自己博客写的也有如何搭建zookeeper集群)一.Kafka集群部署:1)解压安装包[root@bigdata111 soft]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/2)在/opt/module/kafka目录下创建logs文件夹[root@...原创 2020-02-03 21:44:17 · 232 阅读 · 0 评论 -
Kafka中server.properties文件含义详细介绍
美图欣赏:下图kafka配置文件,红框:#broker的全局唯一编号,不能重复broker.id=0#是否允许删除topicdelete.topic.enable=true (命令可以删除)#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8#发送套接字的缓冲区大小...原创 2020-02-03 21:02:57 · 588 阅读 · 0 评论 -
Kafka架构图
美图欣赏:自己画的一张流程图:1)Producer :消息生产者,就是向kafka broker发消息的客户端。2)Consumer :消息消费者,向kafka broker取 消息的客户端3)Topic :可以理解为一个队列。4) Consumer Group (CG):kafka提供的可扩展且具有容错性的消费者机制。既然是一个组,那么组内必然可以有多个消...原创 2020-02-03 16:39:10 · 2907 阅读 · 0 评论 -
kafka消息队列的优点
美图欣赏:1)解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3)扩展性:...原创 2020-02-03 13:57:52 · 1029 阅读 · 0 评论