kafka
互联网叫兽
现在,青春是用来奋斗的;将来,青春是用来回忆的。
展开
-
Kafka(七)------Kafka实战
1、概述消息生产者发送消息,消费消费者消费消息准备工作:kafak环境搭建部署参考Kafka(一)------Linux环境下Kafka集群安装Kafka(二)------Windows环境下Kafka安装创建topic与partitionsbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaTopic1选项说明:–topi原创 2020-11-11 22:50:07 · 452 阅读 · 0 评论 -
Kafka(四)------Kafka知识点整理
一、Kafka名词含义解释1.1、Broker一台 kafka 服务器就是一个 broker;多个broker组成一个Kafka集群,集群中每一个broker的id要唯一;一个 broker可以容纳多个 topic;1.2、Topickafka通过Topic将消息进行分类,每一个消息都具有一个Topic,Topic存储在Broker上。1.3、partition一个topic可以分布到多个broker上;一个 topic 包括多个 partition(分区),不同的分区对应着不同的数据文件原创 2020-08-11 21:06:28 · 1184 阅读 · 2 评论 -
Kafka(五)------Kafka文件储存特点
1、前提准备集群名称brokeripkafka集群broker1127.0.0.1log.dirs=F://kafka_2.12-2.5.0/data/kafka创建两个topictopic名称分区数副本数kafkaTopic121kafkaTopic221#创建topic.\bin\windows\kafka-topics.bat --create -zookeeper localhost:2181 --replicat原创 2020-07-02 11:48:57 · 292 阅读 · 0 评论 -
Kafka(三)------Kafka报错信息解决方案
一、kafka集群broker节点启动失败[2020-06-22 23:28:39,483] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn't match stored broker.id 2 in meta.propert原创 2020-06-24 09:10:19 · 1261 阅读 · 0 评论 -
Kafka(六)------Zookeeper在Kafka中发挥的作用
1、Broker注册Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来;Broker在zookeeper中保存为一个临时节点,节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息;Kafka的每个broker启动时,都要先到zookeeper中注册,因此在整个集群中,broker.id要求全局唯一;其中,Broker创建的节点类型是临时节点,一旦Broker宕机,则对应的临时节点也会被自原创 2020-06-23 22:23:58 · 423 阅读 · 0 评论 -
Kafka(二)------Windows环境下Kafka安装
一、下载Kafka下载地址:http://kafka.apache.org/downloads.htmlhttps://download.csdn.net/download/qq_29914837/12521366二、启动配置文件修改参考Kafka(一)------Linux环境下Kafka集群安装# 启动zookeeper.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties# 启动kafka.\bi原创 2020-06-19 00:02:51 · 303 阅读 · 0 评论 -
Kafka(一)------Linux环境下Kafka集群安装
一、下载Kafka下载地址:http://kafka.apache.org/downloads.html2、安装kafka前提:安装jdk,建议版本1.8#解压至/usr/local/kafka/tar -zxvf kafka_2.12-2.5.0.tgz -C /usr/local/#切换目录cd /usr/local/# 重命名mv kafka_2.12-2.5.0 kafka修改server.properties配置文件vi config/server.propertie原创 2020-06-14 06:49:44 · 403 阅读 · 0 评论