Linux中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)

1下载hive

2安装

         2.1上载和解压缩

         2.2配置环境变量

         2.3对hive进行配置

                   2.3.1 hive-site.xml相关的配置

                                2.3.1.1新建hive-site.xml文件

                                2.3.1.2使用hadoop新建hdfs目录

                                2.3.1.3检查hdfs目录是否创建成功

                                2.3.1.4修改hive-site.xml中的临时目录

                                2.3.1.5修改hive-site.xml数据库相关的配置

                                2.3.1.6将MySQL驱动包上载到lib目录

                  2.3.2新建hive-env.sh文件并进行修改

3启动和测试

          3.1对MySQL数据库进行初始化

          3.2启动hive

          3.3测试

                  3.3.1执行简单测试命令

                  3.3.2执行新建表以及导入数据的测试

                  3.3.2.1新建数据库

                  3.2.2.2创建数据表

                  3.2.2.3将文件数据写入表中

                  3.2.2.4查看是否写入成功

                  3.2.2.5在界面上查看刚才写入hdfs的数据

                  3.2.2.6在MySQL的hive数据库中查看

4错误和解决

          4.1报错Unable toload native-hadoop library for your platform

          4.2报错There are2 datanode(s) running and 2 node(s) are excluded in this operation

 

        关键字：Linux  Java  CentOS  Hadoop  Hive

         说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要hadoop在正常跑着，所以建议你先将hadoop跑起来在按照本文操作。

        如何安装和启动hadoop集群，请参考：

http://blog.csdn.net/pucao_cug/article/details/71698903

1下载hive

下载地址：http://hive.apache.org/downloads.html

点击上图的Download release now!

如图：

     

 

       点击上图的某个下载地址，我点击的是国内的这个地址：http://mirror.bit.edu.cn/apache/hive/

如图：

       

     点击进入：

     

apache-hive-2.1.1-bin.tar.gz

 

2安装

2.1上载和解压缩

       在opt目录下新建一个名为hive的目录，将apache-hive-2.1.1-bin.tar.gz拷贝上去

       执行进入目录的命令：

cd    /opt/hive

       执行解压缩的命令：

tar  -zxvf  apache-hive-2.1.1-bin.tar.gz

2.2配置环境变量

       编辑/etc/profile文件，增加hive相关的环境变量配置

如图：

    

该文件中手工增加的内容是(橘黄色字体部分)：

export  JAVA_HOME=/opt/java/jdk1.8.0_121

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native 

export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" 

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

export  HIVE_CONF_DIR=${HIVE_HOME}/conf