zookeeper、Kafka、flume的安装

Zookeeper安装

把压缩包解压缩到路径/opt/software/base/下并改名zookeeper357
在zookeeper357 新建文件夹zkData，在下面新建文件myid,在文件里写上对应主机的id号，如集群机器有四台，id号为1，2，3，4,那本机对应的id是几就写几

mv zoo_sample.cfg zoo.cfg
vi zoo.cfg

在文件里修改添加以下内容:
dataDir=/opt/software/base/zookeeper357/zkData
id和hostname换成集群对应主机信息
server.id=hostname:2888:3888（如果是单机不要写这一条信息，不然服务起不来）
参数含义解释如下。
Server.A=B:C:D。
A：一个数字，表示每个服务器编号，注意必须唯一。
B：服务器的ip地址，规划了几个机器作为ZooKeeper服务器，就有几行记录，每一个机器都对应一行。
C：是这个服务器与集群中的Leader服务器交换信息的端口；
D：如果集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

启动zookeeper服务：
zkServer.sh start
jps查看进程出现QuorumPeerMain则成功

Kafka安装

把压缩包解压缩到路径cd /opt/software/spark/ 并改名kafka241
在kafka241下新建文件夹kfklogs
修改/opt/software/spark/kafka241/config/server.properties里面的几个配置

broker.id=4
listeners = PLAINTEXT://master:9092
log.dirs=/opt/software/spark/kafka241/kfklogs

启动服务：kafka-server-start.sh -daemon /opt/software/spark/kafka241/config/server.properties
出现Kafka则成功了
[root@slave03 profile.d]# jps
4498 DataNode
5091 NodeManager
4916 ResourceManager
6196 Kafka
5462 QuorumPeerMain
6234 Jps
4667 SecondaryNameNode

测试：
zkCli.sh [–server ip地址：2181] [远程连接]回车
[zk: localhost:2181(CONNECTED) 0] ls /
[kafka, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /kafka
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification]
[zk: localhost:2181(CONNECTED) 2] ls /kafka/brokers
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 3] ls /kafka/brokers/ids
[1, 2, 3, 4]

创建topic

kafka-topics.sh --create --topic mydemo --zookeeper 192.168.181.132:2181 -repl

kafka-topics.sh --zookeeper 192.168.181.132:2181 --list

flume安装

把压缩包解压缩到路径cd /opt/software/spark/ 并改名flume190
重命名/opt/software/spark/flume190/conf/下的文件flume-env.sh.template为flume-env.sh，并修改里面的JAVA_HOME为自己的目录：
export JAVA_HOME=/opt/software/base/jdk180
查看版本：
[root@singleNode ~]# flume-ng version
Flume 1.8.0
出现了即为成功

环境变量的配置

如果想在全局的环境下启动服务就需要去/etc/profile下配置环境变量，不配置的话，启动服务得要去对应的bin目录下去启动