mysql 数据仓库 元数据_Hive安装与配置--- 基于MySQL元数据

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

一、hive安装

1、官网下载地址：http://hive.apache.org/downloads.html

下载后解压到指定目录,例如 /usr/local/hive

# tar -xvf apache-hive-2.0.0-bin.tar.gz  ;  mv apache-hive-2.0.0-bin /usr/local/hive

2、配置环境变量

# vim /etc/profile

export  HIVE_HOME=/usr/local/hive/

export  PATH=$HIVE_HOME/bin:$PATH

# source /etc/profile

3、创建Hive在HDFS中所需的目录

# cd /usr/local/hadoop/bin

# ./hadoop fs -mkdir /tmp

# ./hadoop fs -mkdir /user/hive/warehouse

# ./hadoop fs -chmod g+w /tmp

# ./hadoop fs -chmod g+w /user/hive/warehouse

二、配置hive

Hive配置文件介绍:

hive-site.xml      hive的配置文件

hive-env.sh        hive的运行环境文件

hive-default.xml.template  默认模板

hive-env.sh.template        hive-env.sh默认配置

hive-exec-log4j.properties.template    exec默认配置

hive-log4j.properties.template              log默认配置

vim hive-env.sh

HADOOP_HOME=/usr/local/hadoop

export HIVE_CONF_DIR=/usr/local/hive/conf

export HIVE_HOME=/usr/local/hive

export HADOOP_HEAPSIZE=2048

vim hive-site.xml    主要修改：连接字符串、驱动、用户名、密码等几处

hive.metastore.warehouse.dir

/user/hive/warehouse

javax.jdo.option.ConnectionURL

jdbc:mysql://mysqlserver:3306/hive_data?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

a367Nx52ixeorqmx5OaZ

hive.metastore.local

false

hive.metastore.uris

thrift://dataMaster30:9083

hive.querylog.location

/data/logs/hive/query

hive日志默认放在/tmp/${user.name}目录下

可以通过配置 hive-log4j2.properties 来进行log相关的设置

property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}

三、安装配置MySQL

create database hive;

grant all on hive.* to hive@'%'  identified by 'hive';

flush privileges;

下载mysql驱动,并将驱动复制到$HIVE_HOME/lib类库，下载地址： http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.31-bin.jar

三、启动测试hive

1、启动hadoop后，执行hive命令，如果不报错,表明基于独立元数据库的 Hive 已经安装成功了

# hive

hive> show databases;

OK

default

Time taken: 0.907 seconds, Fetched: 1 row(s)

2、在Hive中创建一张测试表test1

hive> create table test1(name string, age int);

hive> show tables;

hive> desc test1

3、登录mysql，访问hive数据库

从 MySQL 数据库上查看元数据信息用到的 SQL 语句:

use hive;                 //使用 hive 数据库库

show tables;            //显示 hive 数据库中的数据表

select * from TBLS;  //查看 hive 的元数据信息

通过以上的步骤，我们完整的安装了一个Hive，并通过添加和删除一张数据库表的演示，来展示了Hive和Mysql元数据库之间的关系操作

到此Hive集成Mysql作为元数据已完成。

四、元数据mysql远程模式配置

hive.metastore.uris

thrift://192.168.223.129:9083

运行hive的主机地址及端口(特别重要ip不要弄错)

启动元数据服务：

bin/hive --service metastore &  (默认监听端口是：9083)

启动hive报错时可以参照以下方法排除：

配置 hive.metastore.uris

a.不启动metastore和hiveserver服务

直接命令行hive进入hive shell环境，然后执行show databases  报错如下：

ERROR ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate    org.apache.hadoop.hive.metastore.HiveMetaStoreClient

b.第二种种情况

1.配置 hive.metastore.uris

2.启动metastore服务  hive  --service metastore

然后直接命令行hive进入hive shell环境，然后执行show databases

c：第三种情况

1.注释配置项 hive.metastore.uris

2.不启动metastore服务

然后直接命令行hive进入hive shell环境，然后执行show databases

参考资料：http://blog.csdn.net/blueheart20/article/details/38460541