详细图解 Hive介绍、安装配置

写在前面一:

本文总结“Hadoop生态系统”中的其中一员——Apache Hive

写在前面二:

环境说明:

一、什么是Apache Hive

摘自官网:

    Hive是建立在Hadoop上的 数据仓库基础构架。它提供了一系列的工具,可以用来进行 数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive 定义了简单的类SQL查询语言,称为HQL ,它允许熟悉 SQL  的用户查询数据。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  和 reducer  来处理内建的 mapper 和 reducer  无法完成的复杂的分析工作。
     Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行。
     Hive的表其实就是HDFS的目录,按表名把文件夹分开,可以直接在M/R Job里使用这些数据。如果是分区表,则分区值是子文件夹,分区值下的文件是表的数据;如果不是分区表,则表名是文件夹,表内容就是文件夹下面的文件。注意,external table并不在/user/hive/warehouse/数据库路径/ 下展现,却实际存在。
下图给出Hive的系统架构图

二、Hive安装配置

2.1、下载Hive

        http://hive.apache.org/

2.2、解压缩

      cd /home/yujianxin/hive
      tar -zxvf hive-0.9.0.tar.gz

2.3、配置Hive环境变量

2.4、修改相关配置文件

hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

2.4.1、修改Hadoop的配置文件hadoop-env.sh

   修改内容如下:
  export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
2.4.2、修改Hive的配置文件
     在$HIVE_HOME/conf/下
     执行 mv hive-default.xml.template hive-site.xml
     执行 mv hive-env.sh.template hive-env.sh
    

     在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:
     export JAVA_HOME=/usr/java/jdk1.6.0_32
     export HIVE_HOME=/home/yujianxin/hive/hive-0.9.0
     export HADOOP_HOME=/home/yujianxin/hadoop/hadoop-1.1.2

2.5、安装MySQL

        Linux下安装MySQL,参见本博客的另一博文MySQL-1-安装_余建新 @ 工作 7 年,专注大数据方向。近期关注在大数据计算 on k8s。-CSDN博客

2.6、使用MySQL作为Hive的metastore
    2.6.1、把mysql的jdbc驱动放置到hive的lib目录下
    2.6.2、修改hive-site.xml文件,修改内容如下:  
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

三、验证Hive安装是否成功

3.1、通过命令行

3.2、通过Web端

进入Hive的web管理界面,执行命令
hive --service hwi &
进入如下界面


 

成功安装Hive,Hive的使用及UDF参见本博客的Hive系列博文。

--------------------

## 2022年1月2日更新

启动 hive metastore 服务

cd /usr/local/XXXhadoop/hive/bin

nohup hive --service metastore -p 3316 >> hive_service.log 2>&1 &

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值