zookeeper、zkui、kafka部署技术

首先上传安装包  

zookeeper-3.4.6.storm.tar.gz，zkui.storm.zip，apache-maven-3.2.1.storm.zip，kafka_2.9.2-0.8.1.1.storm.zip

1.部署Zookeepoer

(1)创建用户名：# useradd用户名

  创建用户密码：# passwd密码

  切换用户：su -用户名

(2)解压安装包：tar -xvf zookeeper-3.4.6.storm.tar.gz

(3)修改配置文件：vim  conf/zoo.cfg

  将dataDir、dataLogDir改成自己的地址

  将server.1改成自己的hostname或者IP，并且将其他的server用#注释掉

(4)修改bin目录下的执行权限：chmod +x bin/*

(5)启动zookeeper：$bin/zkServer.sh start，并jps查看

2.安装zkui

(1)解压安装包apache-maven-3.2.1.storm.zip和zkui.storm.zip：unzip apache-maven-3.2.1.storm.zip，unzip zkui.storm.zip

(2)修改配置文件：vim .bash_profile

 export MVN_HOME=/自己的地址/apache-maven-3.2.1

 export PATH=$PATH:$MVN_HOME/bin

(2)修改后一定保存一下：source .bash_profile

(3)进入zkui目录下载：mvn clean install

(4)执行：ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar  zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

(5)修改配置文件：vim config.cfg

  将zkServer=cluster-node-01:2181改成自己的IP或者用户名

(6)启动zkui：nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

(7)jps查看一下

3.部署kafka

(1)解压安装包kafka_2.9.2-0.8.1.1.storm.zip

(2)进入kafka目录修改配置文件：vim conf/server.properties：

   broker.id=0；

   host.name=自己的IP；

   zookeeper.connect=自己的IP:2181其他的可用#将其注释掉

(3)修改执行权限：chmod +x sbin/*

                chmod +x bin/*

(4)修改配置文件：vim log4j.properties

  将log4j.appender.D.File，log4j.appender.E.File后的地址路径改为自己的

(5)启动kafka服务: sbin/start-kafka.sh

  此处容易报错，Unrecognized VM option‘+UseCompressedOops’

  因为自己安装的jdk所带的jvm不一定支持kafka用的参数，所以编辑文件kafka-run-class.sh，将-XX:+UseCompressedOops注释掉就可以了。

(6)jps -l查看一下

(7)创建topic:

  bin/kafka-topics.sh --create --zookeeper (自己的IP):2181 --replication-factor 1 --partitions 2   --topic name  

(8)启动consumer

  bin/kafka-console-consumer.sh --zookeeper (自己的IP):2181 --topicname

(9)启动productor

(10)bin/kafka-console-producer.sh --broker-list (自己的IP):9092 --topicname

(11)在productor端输入，在consumer端查看输出

(12)上传shelllogger.sh

(13)启动nohup sh shelllogger.sh  &（可用bash  ./shelllogger.sh &，用tail -f access.log监测一下）

(14)执行nohup sh shelllogger.sh  >> shelllogger.log 2>&1 &

(15)执行nohup tail -f(自己的路径)/access.log | bin/kafka-console-producer.sh --broker-list(自己的IP):9092 --topic topic-test-changzhijun >logs/producer.log 2>&1 &便可执行文件并查看