部署kafka
为了防止收集的日志信息太多或者是服务器down机导致的信息丢失,我们这里引入kafka消息队列服务器,我们这里搭建单节点的kafka,生产环境中应该使用集群方式部署。部署过程参考kafka文档
部署jdk
由于zookeeper依赖java环境,所以我们需要安装jdk,官网建议最低安装jdk 1.8版本
上传软件包
[root@kafka01 ~]# ls
解压jdk
[root@kafka01 ~]# tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/
配置JDK环境变量
[root@kafka01 ~]# vim /etc/profile #在文件最后加入一下行
JAVA_HOME=/usr/local/jdk1.8.0_171
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
[root@kafka01 ~]# source /etc/profile #使环境变量生效
查看java环境
[root@kafka01 ~]# java -version
安装zookeeper
配置hosts
[root@kafka01 ~]# vim /etc/hosts
192.168.10.6 kafka01
解压安装装包
[root@kafka01 ~]# tar -zxf apache-zookeeper-3.5.5-bin.tar.gz -C /usr/local/
创建快照日志存放目录:
[root@kafka01 ~]# mkdir -p /data/zk/data
创建事务日志存放目录:
[root@kafka01 ~]# mkdir -p /data/zk/datalog
生成配置文件
[root@kafka01 ~]# cd /usr/local/apache-zookeeper-3.5.5-bin/conf/
[root@elk01 conf]# cp zoo_sample.cfg zoo.cfg #复制一份zoo_sample.cfg文件并命名为zoo.cfg
修改主配置文件zoo.cfg
[root@kafka01 ~]# vim zoo.cfg
dataDir=/data/zk/data #修改这一行为我们创建的目录
dataLogDir=/data/zk/datalog #添加这一行
添加path环境变量
这里必须是修改配置文件添加path环境变量,不然启动报错
[root@kafka01 ~]# vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.5.5-bin
export PATH=$ZOOKEEPER_HOME/bin:$PATH
[root@elk01 ~]# source /etc/profile
启动Zookeeper
[root@kafka01 conf]# zkServer.sh start