zookeeper，hbase，hive配置搭建。

一.ZooKeeper

进入zookeeper文件夹下，配置全局环境变量: vi /etc/profile,在打开的文件中添加如下两行:

export ZK_HOME=/opt/zookeeper
export PATH=$PATH:$ZK_HOME/bin

输入: source /etc/profile,使其生效

输入: cd /opt/zookeeper/conf/进入配置文件的目录

创建该文件: vi zoo.cfg
插入内容:

# The number of milliseconds of each tick
tickTime=2000
#最大访问数:不限制
maxClientCnxns=0
# The number of ticks that the initial
# synchronization phase can take
#初始化最小进程数:50
initLimit=50
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
#数据目录
dataDir=/opt/zookeeper/zookeeperdata
# the port at which the clients will connect
clientPort=2181
#配置三台以上的奇数台可用机器主机名或者ip,注如果不配集群不需要添加以下内容
server.1=bigdata01:2888:3888
server.2=bigdata02:2888:3888
server.3=bigdata03:2888:3888

创建数据目录: mkdir /opt/zookeeper/zookeeperdata
进入该数据目录: cd /opt/zookeeper/zookeeperdata
创建myid文件,输入对应机器主机名对应的server.后面的数字: vi myid,若本机器是bigdata01则内容为1

配置集群的时间同步

安装ntp: yum -y install ntp
修改所有节点的ntp配置文件: vi /etc/ntp.conf,添加内容:

#当前节点IP地址
restrict 192.168.255.11 nomodify notrap nopeer noquery          
#集群所在网段的网关（Gateway），子网掩码（Genmask）
restrict 192.168.255.1 mask 255.255.255.0 nomodify notrap  

选择一个机器作为主节点，修改其/etc/ntp.conf: vi /etc/ntp.conf,内容如下(server需要全部注释):

server 127.127.1.0
Fudge 127.127.1.0 stratum 10

其他机器修改/etc/ntp.conf: vi /etc/ntp.conf,将server指向主节点,内容如下(server需要全部注释):

server 192.168.255.11
Fudge 192.168.255.11stratum 10

在每台机器启动ntp服务: service ntpd start,并且设置开机自启动: chkconfig ntpd on
查看ntp状态: ntpstat
启动命令:zkServer.sh start
关闭命令:zkServer.sh stop
验证方式: jps,如果出现QuorumPeerMain服务即成功启动了

二、HBase配置

进入配置文件目录: cd /opt/hbase/conf/
修改hbase-stie.xml文件: vi hbase-site.xml
在configuration标签内插入如下内容:

<!-- HRegionServer的数据存储目录-->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://hadoop110:9000/hbase</value>
        </property>
        <!-- 配置hbase为分布式值改为true-->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!-- 配置Hmaster的地址,这里选择主机器hadoop110-->
        <property>
                <name>hbase.master</name>
                <value>hadoop110:6000</value>
        </property>
        <!-- 配置zookeeper集群-->
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop110,hadoop111,hadoop112</value>
        </property>

配置hbase-env.sh文件:vi hbase-env.sh,添加相关环境变量:

export JAVA_HOME=/opt/jdk1.8.0_221
export HBASE_HOME=/opt/hbase
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.14.2
#表示内置zookeeper不开启(手动配置了zookeeper集群)
export HBASE_MANAGES_ZK=false

配置regionservers文件: vi regionservers；
将hbase目录和环境变量文件整个复制到其他机器:如下
scp -r /opt/hbase root@hadoop111:/opt/hbase
scp /etc/profile root@hadoop111:/etc/profile
其他机器记得source /etc/profile使配置生效
启动:首先在hadoop主机器启动hdfs: start-dfs.sh,然后启动所有机器的zookeeper:zkServer.sh start,最后在主机器启动HBase: start-hbase.sh
验证,通过hbase shell 命令进入,然后使用命令list查看所有表,初始状态应该是0,如下图(输入exit退出hbase shell):

三.Hive部署

配置环境变量: vi /etc/profile ,添加以下内容:

export HIVE_PATH=/opt/hive
export PATH=$PATH:$HIVE_PATH/bin

source /etc/profile ,使其生效
提前安装好MySQL；
安装完成后需要给root用户赋权;
使用musql：

grant all on *.* to root@'bigdata01';
flush privileges;

Hive配置文件修改
进入配置文件目录: cd /opt/hive/conf/
新建hive-site.xml文件: vi hive-site.xml,添加如下内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>hdfs://bigdata01:9000/hive/warehouse</value>
               <description>管理表存储的位置,可以是linux中的目录,也可以是相对于fs.default.name有关的目录</description>
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>true</value>
        </property>
        <!-- 指定hive元数据存储的MySQL地址 -->
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <!-- 元数据存储数据库的驱动 -->
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <!-- 元数据存储数据库的用户名 -->
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <!-- 元数据存储数据库的密码,(注:这里是mysql自己root用户的密码) -->
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>ok</value>
        </property>
</configuration>

vi hive-env.sh,添加如下内容:

export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=/opt/hive/lib
export JAVA_HOME=/opt/jdk1.8.0_221
export HIVE_CONF_DIR=/opt/hive/conf

修改hive-log4j.properties，配置hive的log,先改名, mv hive-log4j.properties.template hive-log4j.properties
进入文件: vi hive-log4j.properties,之后按20gg快速定位,修改为如下内容:

hive.log.dir=/opt/hive/logs

新建配置文件需要的目录:mkdir /opt/hive/warehouse ,mkdir /opt/hive/logs
将mysql-connector-java-5.1.0-bin.jar包拖到$HIVE_HOME/lib目录下
给hive文件赋权:chmod 777 /opt/hive
初始化mysql数据库: schematool -initSchema -dbType mysql,输入: hive,进入hive命令行模式,show tables;

使用SQLyog可发现已建立hive数据库,如下: