Kafka
wc1695040842
运维汪一枚
展开
-
kafka常用命令
1、创建一个topic创建一个有3分分区,每个分区有3个副本,名字叫kafkatesttopic的topic[kafka@node1 ~]$ kafka-topics.sh --create --zookeeper 192.168.0.141:2181,192.168.0.142:2181,192.168.0.143:2181/kafkagroup --partitions 3 --repli...原创 2019-12-16 13:14:42 · 138 阅读 · 0 评论 -
kafka集群安装
一、环境准备主机名IP地址作用node1192.168.0.141kafka节点1node2192.168.0.142kafka节点2node3192.168.0.143kafka节点3这里选择安装3个节点的kafka作为集群。二、安装kafka1、安装zookeeperkafka使用zookeeper来存储一些meta信息,并使用了zo...原创 2019-12-16 13:11:36 · 407 阅读 · 0 评论 -
kafka的版本号
今天聊聊kafka版本号的问题,这个问题实在是太重要了,我觉得甚至是日后能否用好kafka的关键。上一节我们介绍了kafka的几种发行版,其实不论是哪种kafka,本质上都内嵌了最核心的Apache kafka,也就是社区版kafka,那今天我们就说说Apache kafka版本号的问题。在开始之前,先强调一下,后面出现的所有"版本"这个词都表示kafka具体的版本号,而非上一节中介绍kafka种...转载 2019-12-16 11:40:25 · 1107 阅读 · 0 评论 -
应该选择哪种kafka
我们上一节谈了kafka当前的定位问题,kafka不再是一个单纯的消息引擎系统,而是能够实现精确一次(exactly-once)语义处理的实时流平台。我们到目前为止所说的kafka都是Apache kafka。kafka是Apache社区的一个顶级项目,如果我们把视角从流处理平台扩展到流处理生态圈,kafka其实还有很长的路要走,毕竟是半路出家转型成流处理平台的。前面我们提到过kafka stre...转载 2019-12-16 11:37:52 · 183 阅读 · 2 评论 -
kafka只是消息引擎系统吗
kafka真的只是消息引擎系统吗?要搞清楚这个问题,就要从kafka的发展历史说起,纵观kafka的发展历史,它确实是消息引擎起家的,但它不仅是一个消息引擎系统,同时也是一个分布式流处理平台(distributed stream processing platform)。如果这一节你只能记住一句话的话,那我希望你能记住,kafka虽然是消息引擎起家,但它不仅是一个消息引擎,还是一个分布式流处理平台...转载 2019-12-16 11:35:14 · 189 阅读 · 0 评论 -
kafka专业术语
在kafka的世界中有很多概念年和术语是需要我们提前理解并且熟练掌握的,下面来盘点下。之前我们提到过,kafka属于分布式的消息引擎系统,主要功能是提供一套完善的消息发布与订阅方案。在kafka中,发布订阅的对象是主题(topic),可以为每个业务、每个应用、甚至是每一类数据都创建专属的主题。向主题发布消息的客户端应用程序称为生产者(producer),生产者通常持续不断地向一个或多个主题发送...转载 2019-12-16 11:32:14 · 306 阅读 · 0 评论 -
消息引擎系统介绍
kafka是什么?kafka是一款开源的消息引擎系统。如果消息引擎系统这个词对你来说有点陌生的话,那么"消息队列"、“消息中间件"你一定是有所耳闻的。对于kafka来说,如果叫消息队列,那么仿佛是在暗示kafka使用队列的方式构建的,如果叫消息中间件,又过度夸张"中间件”,让人搞不清楚这个中间件到底是干嘛的。而kafka在国外有一个专属的名字,叫做Message System,之所以翻译成消息引擎...转载 2019-12-16 11:30:11 · 1516 阅读 · 0 评论 -
kafka简介
一、什么是kafkakafka是一种消息中间件。在了解kafka之前,我们先来了解下什么是消息中间件。消息中间件是在消息的传输过程中保存消息的容器,作用就是中介的作用。消息中间件就像是快递员,把东西给我,告诉我送给谁,你去忙你的吧。1、采用异步处理模式消息发送者可以发送一个消息而无需等待响应。消息发送者将消息发送到一条虚拟的通道(主题或队列)上,消息接收者订阅或是监听该通道。一条消息可...原创 2019-12-16 11:27:42 · 187 阅读 · 0 评论