hive mysql环境搭建_Hive介绍及环境搭建

Hive介绍

Hive是一个构建于Hadoop顶层的数据仓库。它依赖于HDFS和MapReduce，对HDFS数据提供类似于SQL的操作，可以将SQL语句转换为MapReduce任务进行运行。这样，Hive实现了以SQL查询方式来分析存储在HDFS中的数据，使得不熟悉MapReduce的用户也可以很方便地利用SQL语言查询、汇总、分析数据，也使得开发人员可以把己写的mapper和reducer作为插件来支持Hive做更复杂的数据分析。

Hive中的表结构信息等叫做元数据。虽然Hive不是数据库，但它需要使用数据库存储元数据。默认采用Derby存储，也可以改为MySQL存储。而除去元数据之外的数据，存储在Hadoop的HDFS文件系统中。因此，Hive相比传统的关系数据库，在数据规模上有绝对优势，并且有很强的可扩展性，但是实时性比较差。

Hive环境搭建

Hive会用到HDFS存储数据，因此要先安装Hadoop。

安装Hive

tar -zxvf ./apache-hive*.tar.gz -C /opt

mv /opt/apache-hive* /opt/hive

配置环境变量

export HIVE_HOME=/opt/hive

export PATH=${HIVE_HOME}/bin:$PATH

修改配置文件

在${HIVE_HOME}目录下，主要进行如下几个配置文件的修改：

conf/hive-default.xml

conf/hive-site.xml

conf/hive-env.sh

conf/hive-log4j2.properties

其中，conf/hive-site.xml表示hive的个性化配置，它可以覆盖conf/hive-default.xml中的默认配置。如果想用MySQL作为元数据仓库，典型的配置如下：

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive_metadata?createDatabaseIfNotExist=true&autoReconnect=true&useSSL=false

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

username to use against metastore database

javax.jdo.option.ConnectionPassword

hive

password to use against metastore database

hive.metastore.warehouse.dir

/user/hive/warehouse

location of default database for the warehouse

hive.exec.scratchdir

/user/hive/tmp

HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.

hive.querylog.location

/user/hive/log

Location of Hive run time structured log file

在HDFS上创建目录

${HADOOP_HOME}/bin/hdfs namenode -format

${HADOOP_HOME}/sbin/start-dfs.sh

${HADOOP_HOME}/bin/hdfs dfs -mkdir -p /user/hive/warehouse

${HADOOP_HOME}/bin/hdfs dfs -mkdir -p /user/hive/tmp

${HADOOP_HOME}/bin/hdfs dfs -mkdir -p /user/hive/log

${HADOOP_HOME}/bin/hdfs dfs -chmod -R 777 /user/hive/warehouse

${HADOOP_HOME}/bin/hdfs dfs -chmod -R 777 /user/hive/tmp

${HADOOP_HOME}/bin/hdfs dfs -chmod -R 777 /user/hive/log

创建MySQL元数据仓库

上传MySQL的JDBC库:

cp mysql-connector-java-*-bin.jar ${HIVE_HOME}/lib

新建数据库并新建只允许操作该数据库的用户

mysql -u root -p

mysql> create database hive_metadata;

mysql> create user 'hive'@'%' identified by 'hive';

mysql> grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';

mysql> flush privileges;

初始化操作

schematool -dbType mysql -initSchema

Hive启动

使用Hive交互式Shell进行操作，只需要运行hive命令即可。

在Hive Shell中，可以使用类SQL语句进行表的创建和查询，如：