Hive的安装、配置

前言

Hive是一个建立在Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。此外，Hive还允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作。Hive没有专门的数据格式（分隔符等可以自己灵活的设定），并且不适用于在线事务处理，最适用于传统的数据仓库任务和大数据分析，对实时性要求不高的场合。
（ETL：ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程）

以下是Hive安装和配置的一般步骤：

一. 环境准备：

• 1.安装Java Development Kit (JDK)
  Hive需要Java环境来运行，因此您需要安装JDK 8或更高版本。
• 2.安装Hadoop
  Hive依赖于Hadoop的HDFS文件系统来存储数据，因此您需要安装Hadoop 2.7.7或更高版本。
• 3.安装MySQL
  Hive可以使用MySQL作为其元数据存储，因此您需要安装MySQL 5.6.x或更高版本。

二. 下载Hive：

• 从Apache Hive官网下载Hive的压缩包。

• Apache Hive官网:https://hive.apache.org/

三. 解压Hive：

• 将下载的Hive压缩包解压到合适的目录。

四. 配置环境变量：

• 将Hive的bin目录添加到PATH环境变量中。

五. 配置Hive：

• 编辑conf/hive-env.sh文件，配置Hive使用的Java环境等。
• 设置HADOOP_HOME环境变量，指向Hadoop的安装目录。

六. 配置Hive-site.xml：

• 在conf/hive-site.xml文件中配置Hive的元数据存储，通常是Hive的元数据数据库（例如Derby或MySQL）。

七. 格式化Hive的HDFS目录：

• 运行hive --service metastore命令来格式化Hive的HDFS目录。

hive --service metastore

八. 启动Hive Metastore服务：

• 使用hive --service metastore命令启动Hive的元数据服务。

hive --service metastore

九. 启动Hive CLI或HiveServer2：

• 使用hive命令启动Hive命令行界面（CLI）。

hive

• 或者使用hive --service HiveServer2命令启动HiveServer2，它提供了一个JDBC/ODBC服务器。

hive --service HiveServer2

十. 测试Hive：

• 通过CLI或HiveServer2执行一些基本的Hive查询，以确保安装和配置正确。

十一. 配置WebHCat（可选）：

• 如果需要使用WebHCat（也称为HCatalog），则需要安装并配置它。

十二. 配置Hive on Tez（可选）：

• 如果你想要使用Tez作为Hive的执行引擎，需要下载并配置Tez。

请注意，这些步骤可能会根据你的具体环境和需求有所不同。另外，Hadoop和Hive的安装可能涉及到一些网络配置和安全设置，这些需要根据你的组织或项目的安全政策来定制。