Apache Hive安装及配置

转载 2013年12月06日 10:09:25

原文地址:http://blog.yidooo.net/archives/apache-hive-installation.html

安装前

在安装Hive之前,请保证已经安装了Hadoop。

Apache Hive安装及配置

安装Mysql

本文选用mysql作为Hive的metastore。

1
sudo yum install mysql-server
  • 创建数据库
1
2
mysql> create database hive;
Query OK, 1 row affected (0.00 sec)
  • 修改数据库操作权限
1
2
3
4
5
mysql> grant all on hive.* to hive@'%'  identified by 'hive';
Query OK, 0 rows affected (0.00 sec)
 
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

Hive安装

1
tar zcvf hive-0.12.0.tar.gz hive-0.12.0

Hive配置

1
2
3
4
5
cd conf
cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh
cp hive-log4j.properties.template hive-log4j.properties
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
  • hive-site.xml
1
2
3
4
5
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
1
2
3
4
5
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
1
2
3
4
5
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>
1
2
3
4
5
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>welcome123</value>
  <description>password to use against metastore database</description>
</property>
1
2
3
4
5
6
7
8
9
10
11
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
   <description>
   Enforce metastore schema version consistency.
   True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic
         schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
         proper metastore schema migration. (Default)
   False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
   </description>
</property>
  • hive-env.sh
1
2
3
4
5
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/hadoop/hadoop-2.2.0
 
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/hive-0.12.0/conf

安装Mysql JDBC Connector

下载页面:http://www.mysql.com/downloads/connector/j/5.1.html

1
cp mysql-connector-java-5.1.26-bin.jar to hive/lib

测试

1
2
3
hive> create table test (key string);
OK
Time taken: 1.09 seconds
1
2
3
4
5
hive> create table test (key string);
hive> show tables;
OK
test
Time taken: 0.084 seconds, Fetched: 1 row(s)

常见错误

错误:ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)
解决方法:sudo service mysqld start
错误:ERROR 1044 (42000): Access denied for user ”@’localhost’ to database ‘hive’
解决方法:
[hadoop@zhenlong-master ~]$ mysql -h localhost -u root -p
Enter password:
错误:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
这个错误的原因很多,因此需要进行调试。 启动hive带上调试参数,./hive -hiveconf hive.root.logger=DEBUG,console,从调试信息中可以获得错误详细信息。
如果错误信息为:
Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BoneCP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
解决方法:将mysql的jdbc driver拷贝到hive/lib即可。
如果错误信息为:
Caused by: MetaException(message:Version information not found in metastore. )
解决方法:set hive.metastore.schema.verification = false
1
2
3
4
5
6
7
8
9
10
11
<property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    Enforce metastore schema version consistency.
    True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic
          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
          proper metastore schema migration. (Default)
    False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
    </description>
 </property>

apache_hive_2.1.1安装部署

一、Hive 运行模式 与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但...
  • yinlei_81
  • yinlei_81
  • 2017年04月07日 17:06
  • 753

Apache Drill学习

简介 Apache Drill is a low latency distributed query engine for large-scale datasets, including struct...
  • hfut_jf
  • hfut_jf
  • 2015年10月06日 01:56
  • 2098

Ranger安装

ranger安装
  • LilyXFan
  • LilyXFan
  • 2017年04月24日 09:56
  • 1379

Apache服务器的安装与配置

文档:http://httpd.apache.org/docs/2.4/ 指令:http://httpd.apache.org/docs/2.4/mod/core.html 一、配置文件 ...
  • ccrong
  • ccrong
  • 2015年10月09日 21:31
  • 1244

apache ant 的安装与使用

团队协作式的开发项目时,svn和git起到管理代码的作用,而我们需要的是一个可以编译好可以发布的产品,这时候就需要有一个规范的编译工具了,由于开发人员所使用的环境各有不同,比如开发java项目时,不同...
  • MEdwardM
  • MEdwardM
  • 2016年11月01日 11:21
  • 2599

Hive-1.2.1远程模式的安装和配置

准备工作 1.搭建好的Hadoop分布式系统 2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar 在my...
  • looc_246437
  • looc_246437
  • 2017年08月17日 12:33
  • 247

Hive本地模式安装配置

准备: hive安装包 http://mirrors.hust.edu.cn/apache/ 下载apache-hive-2.1.0-bin.tar.gz mysql RPM压缩包 htt...
  • EaShion1994
  • EaShion1994
  • 2016年07月28日 17:14
  • 792

APACHE RANGER 调研----3.ranger hive 测试

1.创建linux 用户 和 ranger 用户 和 hdfs 用户     同 ranger hdfs 测试 2. bfd_hz用户beeline 登录 和 hive客户端访问      3....
  • wangwenting2016
  • wangwenting2016
  • 2016年12月24日 16:50
  • 1682

Apache kylin安装配置

kylin安装配置,kylin cube
  • linlinv3
  • linlinv3
  • 2016年12月23日 16:33
  • 5747

apache_httpd的安装与配置

apache_httpd的安装与配置1.安装程序及服务名 httpd -k install -n Apache2.4安装成功后,会提示如下异常:Testing httpd.conf.... ...
  • u012038649
  • u012038649
  • 2017年02月19日 16:37
  • 1029
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache Hive安装及配置
举报原因:
原因补充:

(最多只允许输入30个字)