hive 配置用户名_Hive的安装及配置

title: Hive的安装及配置

summary: 关键词：Hive ubuntu 安装和配置 Derby MySQL PostgreSQL 数据库连接

date: 2019-5-19 13:25

urlname: 2019051903

author: foochane

img: /medias/featureimages/19.jpg

categories: 大数据

tags:

hive

大数据

1 安装说明

在安装hive之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建

1.1 用到的软件

软件

版本

下载地址

mysql-connector-java

mysql-connector-java-5.1.45.jar

命令行安装

postgresql-jdbc4

postgresql-jdbc4.jar

命令行安装

1.2 节点安排

名称

ip

hostname

主节点

192.168.233.200

Master

子节点1

192.168.233.201

Slave01

子节点2

192.168.233.202

Slave02

1.3 说明

注意：本文的hive 、MySQL、PostgreSQL均只安装在Master节点上，实际生产环境中，需根据实际情况调整

Hive默认元数据保存在内嵌的 Derby 数据库中，这是最简单的一种存储方式，使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。Derby数据库中，只能允许一个会话连接，只适合简单的测试,实际生产环境中不适用。 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 或者PostgreSQL作为元数据库，Hive 内部对 MySQL和PostgreSQL提供了很好的支持。

本文将逐一介绍hive连接Derby、PostgreSQL、MySQL这三种数据库数据库的安装和配置。

2 hive连接Derby

2.1 解压

$ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C /usr/local/bigdata & cd /usr/local/bigdata

$ mv apache-hive-2.3.5-bin hive-2.3.5

$ sudo chown -R hadoop:hadoop hive #之前bigdata目录已经修改过权限了

2.2 修改配置文件

要修改的文件在/usr/local/hive-2.3.5/conf目录下，需要修改hive-site.xml、hive-env.sh、hive-log4j2.properties这3个文件。

先把.template文件复制一份出来，然后进行修改。

$ cd /usr/local/hive-2.3.5/conf

$ cp hive-default.xml.template hive-site.xml

$ cp hive-env.sh.template hive-env.sh

$ cp hive-log4j.properties.template hive-log4j.properties

2.2.1 hive-site.xml(Derby)

配置Derby只需要修改javax.jdo.option.ConnectionURL指定metastore_db的存储位置即可

具体修改如下：

javax.jdo.option.ConnectionURL

jdbc:derby:;databaseName=/usr/local/bigdata/hive-2.3.5/metastore/metastore_db;create=true

JDBC connect string for a JDBC metastore.

To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.

For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

2.2.2 hive-env .sh

添加：

export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.1

export HIVE_CONF_DIR=/usr/local/bigdata/hive-2.3.5/conf

2.2.3 hive-log4j2.properties

日志配置可以先默认，暂时不修改什么。

2.3 配置环境变量

在~/.bashrc文件中添加如下内容，执行source ~/.bashrc使其生效。

export HIVE_HOME=/usr/local/bigdata/hive-2.3.5

export PATH=$PATH:/usr/local/bigdata/hive-2.3.5/bin

2.4 为hive创建数据仓库存储目录

注意先启动hadoop集群

$ hadoop fs -mkdir -p /user/hive/warehouse

$ hadoop fs -mkdir -p /tmp

$ hadoop fs -chmod g+w /user/hive/warehouse

$ hadoop fs -chmod g+w /tmp

2.4 启动hive

初始化元数据数据库

$ schematool -initSchema -dbType derby

成功初始化应该出现如下内容：

$ schematool -initSchema -dbType derby

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/local/bigdata/hive-2.3.5/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/local/bigdata/hadoop-2.7.1/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Metastore connection URL: jdbc:derby:;databaseName=/usr/local/bigdata/hive-2.3.5/metastore/metastore_db;create=true

Metastore Connection