![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
热情散尽
这个作者很懒,什么都没留下…
展开
-
Kafka架构深入理解
1.Kafka的工作流程以及文件存储机制Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了那个offset,以便出错恢复时,从上次的位置继续消费。由于生产者产生原创 2020-07-01 10:33:05 · 209 阅读 · 0 评论 -
Kafka安装部署以及基本操作
1.集群规划假设这里是三台机器test01 test02 test03zk zk zkKafka Kafka Kafka2.jar下载Kafka下载地址:http://kafka.apache.org/downloads.html3.下载完成之后开始解压安装包[hadoop@test01 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/4.修改解压之后的文件名称。(可以修改也可以不修改,修改原创 2020-06-30 16:13:10 · 204 阅读 · 0 评论 -
Kafka进阶问题
Kafka核心概念?1.Broker一台Kafka服务器就是一个broker。一个集群由多个broker组成。2.TopicTopic就是数据主题,Kafka建议根据业务系统将不同的数据放在不同的Topic中!Kafka中的Topics总是多订阅者模式,一个topic可以拥有一个或者多个消费者来订阅它的数据。一个大的Topic可以分布式存储在多个Kafka broker中。Topic可以类比数据库中的库。3.Partition每个topic可以有多个分区,通过分区的设计,topic可以不断进行扩原创 2020-06-30 15:32:42 · 352 阅读 · 0 评论 -
大数据技术Kafka基础问题
.Kafka的定义?Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据的实时处理领域?Kafka消息队列应用场景使用消息队列的好处?1.解耦允许你独立扩展或者修改俩边的处理过程,只要确保他们遵循同样的接口约束。2.可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。3.缓冲–>削峰平谷有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度是不.原创 2020-06-29 16:52:01 · 350 阅读 · 0 评论