kafka部署

部署准备：

1， 一台部署好jdk的linux虚拟机！

2，(1)apache-maven-3.2.1.storm.zip;(2)zkui.storm.zip;(3)kafka_2.9.2-0.8.1.1.storm.zip(4)jdk-8u74-linux-x64.gz

      (5)zookeeper-3.4.6.deploy.tar.gz 

      

kafka部署：

step1   将jdk的压缩包移动到root 用户下的 /usr/share 文件夹（注释：share独立于当前计算机的数据结构，数据不易丢失）！然后在share目录下解压——例子：                             [root@localhost share]# tar -xvf    jdk-8u74-linux-x64.gz

step2   配置jdk的环境变量: vim /etc/profile 操作实例：[root@localhost ~]#  vim /etc/profile   

              JAVA_HOME=/usr/share/jdk1.8.0_79
               PATH=$JAVA_HOME/bin:$PATH

            其中/usr/share/jdk1.8.0-79是你解压后的jdk文件路径，将这个环境变量配置在/etc/profile中能让此虚拟机的其它用户使用jdk。配置在~/.bashrc 中只能root用户用。

step3   新建一个storm用户；这个用户名可以自己定，可以将kafka部署在root下，部署在新建用户是为了方便管理！

            [root@localhost ~]# useradd storm

            [root@localhost ~]# passwdstorm

             确保是root用户下，其它用户没有新建用户的权限！

step4  切换到storm用户;[root@localhost ~]# su storm,然后创建kafka目录：[storm@localhost ~]$ mkdir kafka，利用Xshell文件传输工具将(1),(2),(3),(5)压缩包传输到                  kafka文件夹，然后在kafka目录下解压：tar压缩类型的用 tar -xvf filename. 而zip的用 unzip filename.    

                  [storm@localhost kafka]$ tar -xvf zookeeper-3.3.6.deploy.tar.gz

                 [storm@localhost kafka]$ unzip kafka_2.9.2-0.8.1.1.storm.zip

           [storm@localhost kafka]$ unzip zkui.storm.zip

                   [storm@localhost kafka]$ unzip apache-maven-3.2.1.storm.zip

step5  获取本地ip：[storm@localhost ~]$ ifconfig   得到ip地址：本例中的为：192.168.168.131.

step6  分别配置环境变量并测试：一）zookeeper  [storm@localhost zookeeper-3.4.6]$ vim  conf/zoo.cfg                                                                                                                                                                                      dataDir=/home/strom/kafka/zookeeper-3.3.6/data  （改成自己的目录）

                                                                              dataLogDir=/home/strom/kafka/zookeeper-3.3.6/logs （改成自己的目录）

                                                                              server.1=hostname:4887:5887  （改成自己的hostname或IP）其它的server前面加#注释掉！

                                                     修改zookeeper-3.3.6里bin下的执行权限：[storm@localhost zookeeper-3.4.6]$ cd bin                    [storm@localhost bin]$ chmod +x *

                                                     启动zookeeper [storm@localhost zookeeper-3.4.6]$ bin/zkServer.sh start            执行 jps 查看是否启动，若有QuorumPeerMain，则                                                        启动成功！

                                                      bin/zkServer.sh status：查看启动后的状态；bin/zkServer.sh stop：停止zk；

                                                      bin/zkCli.sh -server192.168.168.131:2181  启动zk的客户端

 

                                                      客户端命令行工具的一些简单操作如下：

                                                                    1.显示根目录下、文件：ls/使用ls命令来查看当前ZooKeeper中所包含的内容

                                                                    2.创建文件，并设置初始内容：create/zk"test"创建一个新的znode节点“zk”以及与它关联的字符串

                                                                    3.获取文件内容：get/zk确认znode是否包含我们所创建的字符串

                                                                    4.修改文件内容：set/zk"zkbak"对zk所关联的字符串进行设置

                                                                    5.删除文件：delete/zk将刚才创建的znode删除

                                                                    6.退出客户端：quit

                                                                    7.帮助命令：help

                                                       二）zkui 和 apache-maven-3.2.1

                                                               配置环境变量：[storm@localhost ~]$ vim ~/.bash_profile

                                                                                        export MVN_HOME=/home/strom/kafka/apache-maven-3.2.1

                                                                                        export PATH=$PATH:$MVN_HOME/bin

                                                              注释掉或删除原来的PATH；

                                                             修改apache-maven-3.2.1里bin下的执行权限:[storm@localhost apache-maven-3.2.1]$ cd bin /[storm@localhost bin]$ chmod +x *

                                                              在zkui下执行 [storm@localhost zkui]$ mvn clean install         *这一步一定要在联网的环境下配置，并保证网络稳定，若断很麻烦

                                                      然后 [storm@localhost zkui]$ vim  config.cfg      进入修改zkServer 结果如下

                                                              zkServer=hostname:2181

                                                              启动：nohupjava -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

                                                              查看：http://123.56.76.213:9090  或者   jps -l

                                                               登录账号 "username":"admin", "password":"manager"

                                                          三）kafka

                                                                配置环境变量：[storm@localhost kafka_2.9.2-0.8.1.1]$ cd config    [storm@localhost config]$  vim server.properties

                                                                  修改内容如下：broker.id=0             （broker编号，集群唯一）

                                                                                           host.name=192.168.168.131     （这个是你自己虚拟机的地址，根据ifconfig查出来的，每个人的都不一样。这也可以写自己的hostname--lacalhost）

                                                                                           zookeeper.connect=192.168.168.131:2181        （2181是连接端口）

                                                                  给sbin里的程序赋予执行权限：[storm@localhost kafka_2.9.2-0.8.1.1]$ chmod+xsbin/* 

                                                                  修改配置文件   [storm@localhost kafka_2.9.2-0.8.1.1]$ cd config           [storm@localhost config]$   vim log4j.properties

                                                                                        ①log4j.appender.D.File=/home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/debug.log

                                                                                        ②log4j.appender.E.File=/home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/error.log

                                                                                           /home/storm/kafka是自己kafka解压的文件夹。

                                                                  启动kafka服务：[storm@localhost kafka_2.9.2-0.8.1.1]$  sbin/start-kafka.sh 

                                                                   查看是否启动： jsp                                        或             jps -l

                                                                   2719 Jps                                                      [storm@localhost zookeeper-3.4.6]$ jps -l
                                                                   2699 QuorumPeerMain                               3265 sun.tools.jps.Jps
                                                                   2668 Kafka                                                  2699 org.apache.zookeeper.server.quorum.QuorumPeerMain
                                                                                                                                       2668 kafka.Kafka  

                                                                  
                                                                   

 

&创建topic

bin/kafka-topics.sh --create --zookeeper192.168.168.131:2181 --replication-factor 1 --partitions 1 --topicabc（IP不能是localhost）

&启动consumer

bin/kafka-console-consumer.sh --zookeeper192.168.168.131:2181--topicabc

（IP不能localhost）

& 在另一个命令窗口下 启动productor

bin/kafka-console-producer.sh --broker-list192.168.168.131:9092--topicabc

在productor端输入，看consumer端的输出。

&

如果在productor 输入abc能在consumer窗口里看见abc则说明kafka和zookeeper安装配置启动成功！