/opt/hbase/conf 中不能启动hbase_ZK、Flume、Kafka、hbase、Spark安装

一、Zookeeper安装

1. 解压

2. 把conf文件夹下配置文件改个名字

cp zoo_sample.cfg zoo.cfg

3. 编辑zoo.cfg,配置datadir

dataDir=/opt/modules/zookeeper-3.4.10/zkData

4. 配置集群机器，每台机器分配一个不同的Serverid

server.1=clay01:2888:3888

server.2=clay02:2888:3888

server.3=clay03:2888:3888

以上配置1,2,3就是Serverid

5. 在zkData文件夹里新建一个myid文件，内容是本机的Serverid

6. 配置Zookeeper的LogDIR：配置bin/zkEnv.sh文件

ZOO_LOG_DIR="."改为/opt/modules/zookeeper-3.4.10/logs

7. bin/zkServer.sh start

二、安装Flume

1、解压

2、将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件

三、安装kafka

1、上传、解压安装包，修改文件名称，创建logs文件夹

2、修改conf中的配置文件server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径 
log.dirs=/opt/modules/kafka/logs
#配置连接Zookeeper集群地址
zookeeper.connect=clay01:2181,clay02:2181,clay03:2181

3、分发，并修改各节点的brokerid，不得重复

kafka-server-start.sh不能关闭kafka进程报错说：No kafka server to stop

查看改脚本：vi kafka-server-stop.sh 发现：

此时可以把PIDS=$(ps ax | grep -i 'kafka.Kafka' | grep java | grep -v grep | awk '{print $1}')这行代码修改为

PIDS=$(jps -lm | grep -i 'kafka.Kafka' | awk '{print $1}')即可正常关闭

四、安装Hbase

1、hadoop正常部署

2、zookeeper正常部署

3、上传解压到opt/modules

4、修改配置文件

1）hbase-env.sh修改内容：

export JAVA_HOME=/opt/modules/jdk1.8.0_144
export HBASE_MANAGES_ZK=false

2）hbase-site.xml修改内容：

<configuration>
 <property>     
  <name>hbase.rootdir</name>     
  <value>hdfs://clay01:9000/hbase</value>   
 </property>
 
 <property>   
  <name>hbase.cluster.distributed</name>
  <value>true</value>
 </property>
<configuration>
 <property>     
  <name>hbase.rootdir</name>     
  <value>hdfs://clay01:9000/hbase</value>   
 </property>
 
 <property>   
  <name>hbase.cluster.distributed</name>
  <value>true</value>
 </property>
 
   <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
 <property>
  <name>hbase.master.port</name>
  <value>16000</value>
 </property>
 
 <property>   
  <name>hbase.zookeeper.quorum</name>
     <value>clay01:2181,clay02:2181,clay03:2181</value>
 </property>
 
 <property>   
  <name>hbase.zookeeper.property.dataDir</name>
      <value>/opt/modules/zookeeper-3.4.10/zkData</value>
 </property>
</configuration>

5）regionservers：

clay01
clay02
clay03

6）软连接hadoop配置文件到hbase：

[clay01@clay modules]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml 
/opt/module/hbase/conf/core-site.xml
[clay01@clay modules]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml 
/opt/module/hbase/conf/hdfs-site.xml

7、启动：start-hbase.sh

进入clay01:16010查看

五、安装Spark

1）进入spark安装目录下的conf文件夹

cd spark/conf/

2）修改配置文件名称

mv slaves.template slaves

mv spark-env.sh.template spark-env.sh

3）修改slave文件，添加work节点：

vim slaves

clay01
clay02
clay03

4）修改spark-env.sh文件，添加如下配置：

vim spark-env.sh

SPARK_MASTER_HOST=clay01
SPARK_MASTER_PORT=7077

5）分发spark包、启动sbin、start-all.sh