安装和环境配置
一、zookeeper安装和环境配置
1、先用XFTP把zookeeper压缩文件上传到/opt/download/hadoop里
2、解压到要放的文件目录
[root@chust01 hadoop]# pwd
/opt/download/hadoop
[root@chust01 hadoop]# tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software/hadoop
3、改名
[root@chust01 hadoop]# cd /opt/software/hadoop
[root@chust01 hadoop]# mv zookeeper-3.4.5-cdh5.14.2/ zookeeper345
4、查看权限
[root@chust01 hadoop]# ls
hadoop260 hadoop260.tar.gz hive110 zeppelin082 zookeeper345
[root@chust01 hadoop]# ls -la
5、配置环境变量,重命名复制一份出来改
[root@chust01 hadoop]# cd zookeeper345/conf/
[root@chust01 conf]# ls
configuration.xsl log4j.properties zoo_sample.cfg
[root@chust01 conf]# cp zoo_sample.cfg zoo.cfg
[root@chust01 conf]# ls
configuration.xsl log4j.properties zoo.cfg zoo_sample.cfg
[root@chust01 conf]# vi zoo.cfg
6、在zoo.cfg中,修改配置文件的数据存放目录
dataDir=/opt/software/hadoop/zookeeper345/mydata
#数据目录
#1.在目录新建mydata文件夹,复制路径到dataDir数据目录
[root@chust01 ~]# cd /opt/software/hadoop/zookeeper345/
[root@chust01 zookeeper345]# mkdir mydata
[root@chust01 zookeeper345]# cd mydata/
[root@chust01 mydata]# pwd
/opt/software/hadoop/zookeeper345/mydata
#2.增加机器名字id以及端口号,写在dataDir后面一行,映射到IP地址,2888是(可修改)端口集群之间的通信,集群里的机器必须一样。zookeep自我管理,启动时就会分工,一个做leader,server.1是第一台机器。先来后到的选举机制,谁票数最多谁是leader,leader死了后重新投票选举。集群半数原则,票数过半,低于4台就选不出领导,集群就没了。
server.1=chust01:2888:3888#跟在dataDir后面一行
#3.在mydata文件夹里创建新的文件名叫id,内容就写1,作为对本机id的识别,其他机器也依次创建用来识别自己的id
[root@chust01 mydata]# vi myid
输入1
7、配置环境变量
export JAVA_HOME=/opt/software/jdk180
export HADOOP_HOME=/opt/software/hadoop/hadoop260
export HIVE_HOME=/opt/software/hadoop/hive110
export ZK_HOME=/opt/software/hadoop/zookeeper345
export PATH=$ZK_HOME/bin:$ZK_HOME/sbin:$HIVE_HOME/bin:$HIVE_HOME/lib:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
8、激活环境变量
[root@chust01 zookeeper345]# source /etc/profile
9、启动、停止和查看状态
[root@chust01 zookeeper345]# zkServer.sh start
[root@chust01 zookeeper345]# zkServer.sh stop
JMX enabled by default
Using config: /opt/software/hadoop/zookeeper345/bin/…/conf/zoo.cfg
Starting zookeeper … STARTED
[root@chust01 zookeeper345]# zkServer.sh status
JMX enabled by default
Using config: /opt/software/hadoop/zookeeper345/bin/…/conf/zoo.cfg
Mode: standalone
10、安装成功!
二、HBase安装和配置
1、打开文件目录
[root@chust01 zookeeper345]# cd /opt/download/hadoop/
[root@chust01 hadoop]# ls
2、解压
[root@chust01 hadoop]# tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/software/hadoop
3、改名
[root@chust01 hadoop]# cd /opt/software/hadoop
[root@chust01 hadoop]# ls
[root@chust01 hadoop]# mv hbase-1.2.0-cdh5.14.2/ hbase120
4、查看权限
[root@chust01 hadoop]# ls -la
drwxr-xr-x. 31 1106 4001 4096 Mar 28 2018 hbase120
5、权限不足,增加root权限
[root@chust01 hadoop]# chown root:root hbase120/
6、编辑hbase配置文件
[root@chust01 hadoop]# cd hbase120/conf/
[root@chust01 conf]# ls
[root@chust01 conf]# vi hbase-env.sh
7、修改hbase配置文件
找到The java implementation to use. Java 1.7+ required.下面一行,删掉前面的注释*号,配置JAVA_HOME路径和HBASE_MANAGES_ZK
export JAVA_HOME=/opt/software/jdk180
export HBASE_MANAGES_ZK=false
8、启动HDFS服务
[root@chust01 conf]# start-all.sh
9、编辑hbase配置
[root@chust01 conf]# vi hbase-site.xml
#1、主要配置以下几点:
映射的路径
集群设置成分布式的,更安全
zook客户端端口
zook数据路径
#2、configuration内添加以下标签和内容
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.221.140:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/software/hadoop/zookeeper345/mydata</value>
</property>
</configuration>
10、HBASE配置环境变量
[root@chust01 conf]# vi /etc/profile
#添加HBASE_HOME文件目录和指向
export JAVA_HOME=/opt/software/jdk180
export HADOOP_HOME=/opt/software/hadoop/hadoop260
export HIVE_HOME=/opt/software/hadoop/hive110
export ZK_HOME=/opt/software/hadoop/zookeeper345
export HBASE_HOME=/opt/software/hadoop/hbase120export PATH=$HBASE_HOME/bin:$ZK_HOME/bin:$ZK_HOME/sbin:$HIVE_HOME/bin:$HIVE_HOME/lib:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
11、激活环境变量
[root@chust01 conf]# source /etc/profile
12、启动HBASE服务
[root@chust01 conf]# start-hbase.sh
13、查看启动的服务,出现HRegionServer和HMaster则为配置成功
[root@chust01 conf]# jps
119003 HRegionServer
118878 HMaster
14、进入hbase shell
[root@chust01 conf]# hbase shell
hbase(main):001:0> version
1.2.0-cdh5.14.2, rUnknown, Tue Mar 27 13:31:54 PDT 2018
15、安装成功!