虚拟机搭建CentOS（Zookper、kafka、Redis）集群搭建（07）

zookeeper集群过程：

具体安装涉及到修改配置文件：/usr/local/software/zookeeper/conf
1、zoo.cfg（改动地方2处）

zookeeper存放数据节点：
dataDir=/usr/local/software/zookeeper/data
2、zookeeper集群的节点
#2888：作为leader启用的端口
#3888：作为follower，推选leader时所用的口
server.100=page01:2888:3888
server.101=page02:2888:3888
3、创建zookeeper存储数据的公共目录：dataDir=/usr/local/software/zookeeper/data
mk -p /usr/local/software/zookeeper/data
4、在data目录下，创建文件myid,并在myid文件中绑定节点对应的服务器编号，即N
vim myid
cat myid

拷贝：
1、通过rsync复制/usr/local/software/zookeeper到所有节点（注意scp不支持软连接复制）
rsync -lr zookeeper* root@page02:/usr/local/software
2、分发page01的/etc/profile文件到page02上
scp /etc/profile root@page02:/etc/

最后分别执行source /etc/profile命令
3、分别修改 page02的没有id

启动zookeeper集群，查看进程
1、启动（分别在子节点）执行命令zkServer.sh start
2、校验状态，子节点分别执行zkServer.sh status  同时查看对应java进程QuorumPeerMain
3、登录到其中一个zookeeper，通过客户端命令查看
/usr/local/software/zookeeper/data  
zkCli.sh
zookeeper目录下面的zookeeper.out文件就可以查看到错误

kafka集群过程：

kafka集群：
kafka官网地址：http：//achive.apache.org/dist/kafka/0.10.0.1/

解压到指定目录
tar -zxvf kafka_2.11-0.10.0.1.tgz -C /usr/local/software/
创建软连接
ln -s /usr/local/software/kafka_2.11-0.10.0.1 /usr/local/soft/ware/kafka

编辑/etc/profile文件
#最后一行
export KAFKA_HOME=/usr/local/software/kafka
export PATH=$PATH.$KAFKA_HOME/bin

让环境变量生效
source /etc/profile涉及到配置文件修改
1、server.peoperties（改动共三处）

#broker的ID，集群中每个brokerID不可相同：
broker.id=101

#kafka存放log的日志目录：
log.dirs=/usr/local/software/kafka/kafka-logs

#zookeeper的地址：
zookeeper.connect=page01:2181,page02:2181

配置文件修改完，进入后续工作
1、通过rsync复制/usr/local/software/kafka到所有节点(注意scp不支持连接复制)
rsync -lr kafka*  root@page02:/usr/local/software/
2、分发page01的/etc/profile文件到page02上面
scp  /etc/profile root@page02:/etc/

分别最后执行source /etc/profile

3、分别修改其他机器的server.properties文件

启动zookeeper集群，查看进程
1、启动在其他节点，分别执行：kafka-server-start.sh /usr/local/software/kafka/config/server.properties

关闭命令：kafka-server-stop.sh /usr/local/software/kafka/config/server.properties
后台启动命令：kafka-server-start.sh -daemon /usr/local/software/kafka/config/server.properties

编写xkafka.sh脚本，方便在kafka集群中的每个节点上面执行启动和关闭

#!/bin/bash
hosts="page01 page02"
for x in $hosts;
do
    tput setaf 2
    echo ====== $x ======
    tput setaf 7
    ssh $x "source /etc/profile;kafka-server-$1.sh /usr/local/software/kafka/config/server.properties";
done

使用：xkafka.sh start  启动
           xkafka.sh stop   停止

Redis的集群安装：

编译安装redis到指定的目录下面
下载地址：http：//download.redis.io/releases/
1、tar -zxvf redis-3.2.8.tar.gz -C /usr/local/download/
2、安装gcc支持
yum install -y gcc
3、cd /usr/local/download/redis-3.2.8
make PREFIX=/usr/local/software/redis-3.2.8 install
4、创建软连接
ln -s /usr/local/software/redis-3.2.8  /usr/local/software/redis
5、配置环境变量
编辑/etc/profile
最后一行
export REDIS_HOME=/usr/local/software/redis
export PATH=$PATH:$REDIS_HOME/bin
6、让环境变量生效
source /etc/profile

启动reids服务：
cd  /usr/local/software/redis-3.2.8    redis-server &

查看端口号：
cd  /usr/local/software/redis-3.2.8    netstat -anop |grep 6379

启动cli连接程序端
redis-cli -h localhost -p 6379

使用set name huitao

get name

redis监听方法
monitor

hadoop集群搭建结束！！！加油！