Kafka介绍和原理

最新推荐文章于 2021-08-06 20:41:42 发布

VIP文章 Mr_yang_tao

最新推荐文章于 2021-08-06 20:41:42 发布

阅读量275

点赞数 1

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/u014801432/article/details/81270178

版权

Kafka介绍

简而言之，kafka是一种mq，现在有很多开源的mq，包括ActiveMq，RokectMq，
Rabbitmq和Kafka等等。还有些大型互联网公司内部不开源的MQ,比如阿里巴巴的MetaQ，京东的JMQ等等。

kafka是强依赖于zookeeper的，所以，如果想深入了解kafka，需要熟悉zookeeper。下面是kafka的架构图，网上找的，整体结构画的很清晰了。

这里写图片描述

场景：网络爬虫爬取了很多网站，将爬取下来的信息，发到kafka，然后，业务系统会消费这些信息，然后处理，写入DB。

很简单的场景，但是要细细的分析起来，会发现，10篇博文都写不完。从上图中可以看到，左侧是生产者系统的集群，对应上面的场景就是爬虫系统。右侧是消费者集群，对应为业务系统。中间就是kafka集群，所有的处理都是围绕的kafka集群展开的，所以先说说kafka集群。

kafka集群中有很机器，不管是物理的还是虚拟的，在kafka中每台机器都叫一个broker。然而在这些机器中，有一个是

关注