Linux平台kafaka安装及使用

前提条件: 以安装好java环境及zookeeper环境

安装

以集群模式,3台为例
上传解压更名

tar -zxvf kafka_2.11-1.1.1.tgz -C /usr/local
cd /usr/local
mv kafka_2.11-1.1.1/ kafka

配置环境变量

vim /etc/profile
# kafka  environment
export KAFKA_HOME=/usr/local/kafka
export PATH=$KAFKA_HOME/bin:$PATH

修改配置文件

//修改$KAFKA_HOME/config/server.properties
broker.id=11 ## 当前kafka实例的id,必须为整数,一个集群中不可重复
log.dirs=/opt/data/kafka ## 生产到kafka中的数据存储的目录,目录需要手动创建
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka ## kafka数据在zk中的存储目录

分发到其他两台机器

[root@mypc01 local]# scp -r kafka root@mypc02:/usr/local
[root@mypc01 local]# scp -r kafka root@mypc03:/usr/local

同时修改其他两台机器的server.properties文件
broker.id分别修改为12 13

启动,需要首先启动zookeeper,之后再同时启动3台kafka

 kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties   

启动后会有一个kafka进程,可以用jps命令查看

kafka在zookeeper中的目录结构

/kafka
    /cluster		
    	/id  {"version":"1","id":"Pks8sWZUHqyVGQ5OA"}  ---》代表的是一个kafka集群包含集群的版本,和集群的id
    /controller  {"version":1,"brokerid":11,"timestamp":"1564976668049"} -->controller是kafka中非常重要的一个角色,意为控制器,控制partition的leader选举,topic的crud操作。brokerid意为由其id对应的broker承担controller的角色。
    /controller_epoch 2 代表的是controller的纪元,换句话说是代表controller的更迭,每当controller的brokerid更换一次,controller_epoch就+1.
    /brokers
       /ids	 [11, 12, 13] --->存放当前kafka的broker实例列表
       /topics	[hadoop, __consumer_offsets] ---->当前kafka中的topic列表
       /seqid	系统的序列id
    /consumers --->老版本用于存储kafka消费者的信息,主要保存对应的offset,新版本中基本不用,此时用户的消费信息,保存在一个系统的topic中:__consumer_offsets
    /config	--->存放配置信息
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值