详细图解 Hive介绍、安装配置

写在前面一：

本文总结“Hadoop生态系统”中的其中一员——Apache Hive

写在前面二：

环境说明：

一、什么是Apache Hive

摘自官网：

    Hive是建立在Hadoop上的 数据仓库基础构架。它提供了一系列的工具，可以用来进行 数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive 定义了简单的类SQL查询语言，称为HQL ，它允许熟悉 SQL  的用户查询数据。同时，这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  和 reducer  来处理内建的 mapper 和 reducer  无法完成的复杂的分析工作。

     Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后在Hadoop执行。

     Hive的表其实就是HDFS的目录，按表名把文件夹分开，可以直接在M/R Job里使用这些数据。如果是分区表，则分区值是子文件夹，分区值下的文件是表的数据；如果不是分区表，则表名是文件夹，表内容就是文件夹下面的文件。注意，external table并不在/user/hive/warehouse/数据库路径/ 下展现，却实际存在。
下图给出Hive的系统架构图

二、Hive安装配置

2.1、下载Hive

        http://hive.apache.org/

2.2、解压缩

      cd /home/yujianxin/hive
      tar -zxvf hive-0.9.0.tar.gz

2.3、配置Hive环境变量

2.4、修改相关配置文件

hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

2.4.1、修改Hadoop的配置文件hadoop-env.sh

   修改内容如下：
  export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
2.4.2、修改Hive的配置文件
     在$HIVE_HOME/conf/下
     执行 mv hive-default.xml.template hive-site.xml
     执行 mv hive-env.sh.template hive-env.sh
    

     在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：
     export JAVA_HOME=/usr/java/jdk1.6.0_32
     export HIVE_HOME=/home/yujianxin/hive/hive-0.9.0
     export HADOOP_HOME=/home/yujianxin/hadoop/hadoop-1.1.2

2.5、安装MySQL

        Linux下安装MySQL，参见本博客的另一博文MySQL-1-安装_余建新 @ 工作 7 年，专注大数据方向。近期关注在大数据计算 on k8s。-CSDN博客

2.6、使用MySQL作为Hive的metastore
    2.6.1、把mysql的jdbc驱动放置到hive的lib目录下
    2.6.2、修改hive-site.xml文件，修改内容如下：  
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

三、验证Hive安装是否成功

3.1、通过命令行

3.2、通过Web端

进入Hive的web管理界面，执行命令
hive --service hwi &
进入如下界面

 

成功安装Hive，Hive的使用及UDF参见本博客的Hive系列博文。

--------------------

## 2022年1月2日更新

启动 hive metastore 服务

cd /usr/local/XXXhadoop/hive/bin

nohup hive --service metastore -p 3316 >> hive_service.log 2>&1 &