需要安装两个
1、zookeeper 的安装
2、kafka集群的安装
因为kafka分布式消息队列系统,它整体的设计是一个消息发布与定义的一个系统,在kafka集群当中有几个比较核心的概念
1、broker 消息的服务器,一个集群里面有几个节点,一般是由几个消息服务器来组成,服务器主要是用来存储消息的
2、消息的生产者,在kafka中的消息生产者产生的消息会传到一个指定的消息主题里面,也就是topic
3、消费者,消费者是从topic里面消费的,topic下的某些分区,从分区里面读取消息然后进行消费
4、topic消息的主题,或者理解为一组消息的一种归纳。 topic下面还可以进行一些分区
5、partition 消息的分区
6、offset消息的偏移量,偏移量(新的是推荐安装在kafka的内部消息主题里面)
7、上面6项的主键的在工作中是依赖于zookeeper进行存储,同时zookeeper可以协调他们之间的工作。所以当初kafka当初设计的时候就是依赖于zookeeper,所以先要安装zookeeper。
具体安装如下:-----------------------------------------------
1、先解压 2、对文件配置 3、把相关安装包分发到其他节点 4、分发完后配置环境变量 5、然后就可以启动集群了
1、先将文件通过Xshell上传上来。
2、可以通过ll命令进行查看
然后从安装zookeeper开始
3、输入命令 tar -zxvf zookeeper-3.4.6.tar.gz -C data 回车 也是将其解压到data目录下面
4、接下来就是进行文件的配置
5、进来后,发现没有zoo.cfg这个文件。但是他有一个模板,zoo_sample.cfg,所以直接复制它进行编辑。
所以输入命令 cp zoo_sample.cfg zoo.cfg 回车
6、然后对其文件进行编辑 vi zoo.cfg 输入截图所示的信息
保存退出
7、回到data目录下面,因为 /home/aboutyun/data/zk_data 自定义路径的文件夹还没有创建所以
需要创建 ,在home目录下面输入命令 mkdir zk_data
8、创建完后,需要在里面填写一个myid,就是一个集群节点的唯一标识,
输入命令 : echo "1">myid 通过添加内容的同时将其进行创建。myid ,这个id是1
9、到此,就已经配置完了,配置完后,需要将它们分发到各个节点上。
scp -r zookeeper-3.4.6/ zk_data/ aboutyun@slave1:~/data
scp -r zookeeper-3.4.6/ zk_data/ aboutyun@slave2:~/data
10、拷贝完后,进行myid的相应的配置。
第一个从节点改为 2 输入命令: echo "2">myid 用cat 查看 myid
第二个从节点改为 3 输入命令: echo "3">myid 用cat 查看 myid
11、改完后,开始配置环境变量。
先进入到zookeeper的安装目录,将其安装路径拷贝出来。
/home/aboutyun/data/zookeeper-3.4.6 拷贝出来,然后回到home目录下,对.bash_profile进行编辑
12、vi .bash_profile ,对其文件进行编辑,将zookeeper的路径添加上
将目录,和bin添加完后,进行保存。退出
13、为了使环境变量生效,进行source .bash_profile 一下
14、改完了之后,将环境变量文件分发到其他各个节点,覆盖到各个节点的值。
scp .bash_profile aboutyun@slave1:~/ 同时要进入到节点一 用source命令使它生效
scp .bash_profile aboutyun@slave2:~/ 同时要进入到节点二 用source命令使它生效
分别进入到节点1,节点2,使用命令使他们生效。
15、配置完成了,现在可以启动zkServer了。(先从主节点开始启动)
16、启动完后,可以通过jps来查看进程。 ./zkServer.sh start
出现红圈这个,说明节点已经启动成功了
同时也在其他节点 ,slave1,slave2里面进行启动。
到这来,zookeeper就已经安装和启动完成了。
接下来就是安装和配置kafka
1、先解压kafka,输入命令 tar -zxvf kafka_2.11-0.10.1.0.tgz -C data 解压到 data目录下面
2、然后进到kafka里面进行相应的配置,
3、对 server.properties进行编辑, 输入命令 vi server.properties
进入文件后,需要配置两个地方 ,log.dirs=/home/aboutyun/data/kafka-logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181
这两个进行替换后,进行保存退出。
4、因为刚刚创建了kafka-logs这个文件的路径,所以需要回到data目录下面去创建一个文件夹
输入命令 : mkdir kafka-logs
5、然后就是将kafka-logs 与kafka的解压文件 分发到其他节点,同时分别修改slave1,slave2节点的broker.id的值为1,2
输入命令 : scp -r kafka_2.11-0.10.1.0/ kafka-logs/ aboutyun@slave1:~/data
输入命令 : scp -r kafka_2.11-0.10.1.0/ kafka-logs/ aboutyun@slave2:~/data
拷贝完后,需要改他们文件里面的broker.id 文件的位置在kafka的config目录下面 的server.properties里面
对文件进行编辑 ,输入命令 vi server.properties 将broker.id修改为1 保存退出
同样的slave2也要修改broker.id 修改为2 保存退出
6、进入到kafka目录下,将其当前目录拷贝下来
回到home目录下面。对.bash_profile文件进行编辑 输入命令 vi .bash_profile
进入文件后,将其路径与bin 进行添加进去。
然后保存退出。执行一下source .bash_profile文件的命令。
7、然后再拷贝到其他节点
scp .bash_profile aboutyun@slave1:~/ 回车
scp .bash_profile aboutyun@slave2:~/ 回车
同时,分别进入它们节点下面的home下,执行source 命令,使它们进行生效。
8、到这来配置完成后,检查一下没有问题,就可以启动kafka了,(启动kafka之前先启动zookeeper)
启动顺序是三个节点都要启动,但是先要启动master ,启动的路径是
kafka 的bin 目录下面。 输入命令是 ./kafka-server-start.sh ../config/server.properties
后面那个是参数,文件配置目录在它上一级的config下面。
接着,其他的从节点也是要启动 输入同样的命令
9、然后再打开一个master窗口来查看它的进程。
在这里就可以看到kafka已经启动了
到此,kafka的安装配置完毕启动成功。