Hive三种搭建方式
1、解压apache-hive-1.2.1-bin.tar.gz
tar -zxvf apache-hive-1.2.1-bin.tar.gz
2、配置环境变量
export HIVE_HOME=/opt/apache-hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH
一、本地模式(derby)
元数据库derby与工具都是在本地,这种是最简单的存储方式,只需要配置hive-site.xml文件即可。
1、将hive-default.xml.template更名为hive-site.xml
mv hive-default.xml.template hive-site.xml
2、hive-site.xml的配置:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
切换至/hive/bin目录下启动Hive
./hive
注意:
使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。
二、基于Mysql的本地模式
这种存储方式需要在本地运行一个Mysql服务器。
1、将Mysql的jar包拷贝到$HIVE_HOME/lib目录下
2、安装Mysql
安装Mysql,并启动
yum install mysql-server -y
service mysqld start
由于首次安装,登录不需要密码
mysql -uroot
修改mysql权限:删除多余对权限造成影响的数据
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
刷新权限
flush privileges;
添加用户
CREATE USER 'hive'@'%' IDENTIFIED BY '123';
用户授权
grant all privileges on hive_meta.* to hive@"%" identified by '123';
flush privileges;
3、配置hive-site.xml文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.163.132/hive_meta?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
</property>
</configuration>
切换至/hive/bin目录下启动Hive
./hive
注意:
- 虽然hive用户对hive_meta数据库是有操作权限的,但是这个数据库如果不存在,hive用户也是没有权限创建这个数据库,所以需要提前创建好hive_meta数据库。
- 需要修改用户名密码,新建的Mysql是没有密码的,需要用户自己更改。
三、基于Mysql的远程模式
需要将hive-site.xml配置文件拆为两部分,分别在服务端和客户端做如下配置。
服务端配置文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
</configuration> j
在客户端启动meta store service
hive --service metastore
客户端配置文件:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.163.128:9083</value>
</property>
</configuration>
客户端启动的时候可能会遇见如下错误信息:
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.TerminalFactory.create(TerminalFactory.java:101)
错误原因:Hadoop jline和Hive的jline版本不一致导致出错,需要将Hive中的jar包导入到Hadoop相应的位置。
Hadoop中jline jar包的位置
/hadoop/share/hadoop/yarn/lib
Hive中jline jar包的位置
/hive/lib