[hadoop]hive概念、安装和配置、常见异常(十)

原创 2016年05月30日 11:28:11

一、概念

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
本质是将SQL转换为MapReduce程序
  1. hive的元数据
    - Hive将元数据储存在数据库中(metastore),支持mysql,derby,oracle等数据库。
    - Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等

  2. HQL的执行过程
    解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划(PLAN)的生成。生成的查询计划储存在HDFS中,并在随后又MapReduce调用执行

  3. Hive的结构体系


二、安装、配置
 
     - Hive安装模式分为嵌入模式、本地模式、远程模式三种模式
     - 嵌入模式:Hive将元信息存储到derby数据库中。它只能创建一个连接,同一时间只能一个人操作Hive
     - 本地模式:Hive将元信息储存在Mysql数据库中。Mysql数据库与Hive运行在同一台物理机器上,支持多个连接,多用于开发和测试
     - 远程模式:Hive将元信息储存在Mysql数据库中。Mysql数据库与Hive运行在不同的物理机器上,多用于生产环境

  1. 准备
    apache-hive-1.2.1-bin.tar.gz安装包,下载地址:http://apache.fayea.com/hive/hive-1.2.1/
    将hive安装包上传至linux的root目录下

  2. 安装
    解压安装,tar zxvf apache-hive-1.2.1.tar.gz
    建立软链接,ln -sf /root/apache-hive-1.2.1-bin /home/hive

  3. 配置
    cd /home/hive/conf目录
    cp hive-default.xml.template hive-site.xml
    配置环境变量
    vim /etc/profile
    export HIVE_INSTALL=/home/hive
    export PATH=$PATH:$HIVE_INSTALL/bin
    source /etc/profile

  4. 启动hive,成功!


三、安装关系型数据库MySQL
  1. 通过查看hive/conf/hive-site.xml,hive自带的关系型数据库是derby,这种数据库不稳定
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
      </property>
  2. 安装mysql数据库
    yum install mysql-server
    启动
    service mysqld start
    登入mysql
    mysql -uroot -p
    如果报错:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
    解决办法:http://blog.csdn.net/alex_bean/article/details/51543097
  3. 加入mysql驱动jar包:mysql-connector-java-5.1.38-bin.jar
    复制到hive的lib目录内:cp -a mysql-connector-java-5.1.38-bin.jar /home/hive/lib/
  4. 进入conf目录,创建hive-site.xml文件,添加如下内容
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    
    	<property>
    			<name>javax.jdo.option.ConnectionURL</name>
    			<value>jdbc:mysql://node1:3306/hive</value>
    	</property>
    	<property>
    			<name>javax.jdo.option.ConnectionDriverName</name>
    			<value>com.mysql.jdbc.Driver</value>
    	</property>
    	<property>
    			<name>javax.jdo.option.ConnectionUserName</name>
    			<value>root</value>
    	</property>
    	<property>
    			<name>javax.jdo.option.ConnectionPassword</name>
    			<value>sp6161266</value>
    	</property>
    
    
    </configuration>
    保存退出
    确认mysql数据库hive,确认hadoop启动

    启动hive


四、常见异常
  1. [root@node1 bin]# hive
    
    Logging initialized using configuration in jar:file:/root/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
    Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
    	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:606)
    	at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
    Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    	at org.apache.hadoop.fs.Path.initialize(Path.java:206)
    	at org.apache.hadoop.fs.Path.<init>(Path.java:172)
    	at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:563)
    	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
    	... 7 more
    Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
    	at java.net.URI.checkPath(URI.java:1804)
    	at java.net.URI.<init>(URI.java:752)
    	at org.apache.hadoop.fs.Path.initialize(Path.java:203)
    	... 10 more
    

    解决办法:
    vim conf/hive-site.xml,增加下面两项配置内容
    <property>
            <name>system:java.io.tmpdir</name>
            <value>/opt/hive/tmpdir</value>
    </property>
    
    <property>
            <name>system:user.name</name>
            <value>username</value>
    </property>
    


  2. 异常二
    [root@node1 lib]# hive
    
    Logging initialized using configuration in jar:file:/root/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
    [ERROR] Terminal initialization failed; falling back to unsupported
    java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
    	at jline.TerminalFactory.create(TerminalFactory.java:101)
    	at jline.TerminalFactory.get(TerminalFactory.java:158)
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
    	at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
    	at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
    	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:606)
    	at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
    
    Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:230)
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
    	at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
    	at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
    	at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
    	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:606)
    	at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
    

    解决办法:
    原因是hadoop目录下存在老版本jline:
    进入hadoop存在jline的目录
    cd /home/hadoop-2.5/share/hadoop/yarn/lib/
    
    将hive的最新版jline替换掉hadoop的旧版jline
    cp /home/hive/lib/jline-2.12.jar ./
    
    删除或改名字旧版jline的jar包
    mv jline-0.9.94.jar jline-0.9.94.jar-bak


版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop+Hive部署安装配置

最近结合具体的项目,搭建了Hadoop+Hive,在运行Hive之前要首先搭建好Hadoop,关于Hadoop的搭建有三种模式,在以下的介绍中,我主要的采用的是Hadoop的伪分布安装模式。写下来给各...
  • w12345_ww
  • w12345_ww
  • 2016年07月14日 15:54
  • 22961

Hadoop HBase Hive安装,配置,整合

软件环境:Hadoop2.4, HBase
  • dream_it_life
  • dream_it_life
  • 2014年06月06日 13:15
  • 4859

Hadoop Hive安装,配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述。1.下载Hive安装包   下载地址为:h...
  • x_i_y_u_e
  • x_i_y_u_e
  • 2015年07月11日 22:48
  • 7519

hadoop入门第七步---hive部署安装(apache-hive-1.1.0)

以下操作在hdpsrc3 节点上操作 一,下载安装包 1,下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz ...
  • An342647823
  • An342647823
  • 2015年05月27日 16:22
  • 64550

hive概念、安装和配置、常见异常

一、概念 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 本质是将SQL转换为MapReduce程序 hive的元数据...
  • clerk0324
  • clerk0324
  • 2016年09月12日 15:47
  • 378

Hadoop集群之Hive安装配置

Hadoop集群之Hive安装配置转自:Hadoop集群之Hive安装配置Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的...
  • blue_jjw
  • blue_jjw
  • 2016年01月07日 21:59
  • 15642

CentOS7.0基于hadoop集群安装配置Hive

前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再有的namenode上安装),可以不在datanode节点的机...
  • jssg_tzw
  • jssg_tzw
  • 2017年06月07日 13:18
  • 1454

安装hadoop和hive时候遇到的问题及解决方法

#----------------------------------------------------------------- # 安装JDK 1. 查看并卸载Linux自带的JDK 安装好的C...
  • LanSeTianKong12
  • LanSeTianKong12
  • 2016年07月07日 17:11
  • 1151

Hadoop单机模式中Hive安装配置

本文主要是演示在Hadoop单机模式中Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下: 基础环境Hive安装配置启动及演示 [一]、基础环境 Mac OSX 10.9.1Jav...
  • jarth
  • jarth
  • 2016年09月29日 17:49
  • 1380

Hadoop+Hive环境的搭建

Hadoop+Hive环境的搭建,在这儿我就不一一介绍Hadoop和Hive了,直接进入正题1. 准备工作:Hadoop,Hive二进制文件下载路径,在这儿我只直接下载的编译好的二进制文件,这样我...
  • u013412497
  • u013412497
  • 2017年02月07日 19:41
  • 2311
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[hadoop]hive概念、安装和配置、常见异常(十)
举报原因:
原因补充:

(最多只允许输入30个字)