Hive学习系列一--安装部署

Hive的认识

    Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把自己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。
     它与关系型数据库的SQL 略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机（online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。

    HIVE的特点：可伸缩（在Hadoop的集群上动态的添加设备），可扩展，容错，输入格式的松散耦合

Hive的安装步骤

    前奏：hadoop版本2.6.0，hive版本1.2.1（开始安装版本为1.1.1，后发现很多问题，修改为1.2.1），jdk版本1.7

1、下载apache-hive-1.1.1-bin.tar.gz复制到/opt目录下解压tar zxvf apache-hive-1.1.1-bin.tar.gz

2、进入conf目录下，复制template文件

    a) hive-default.xml.template --> hive-default.xml

    b) hive-env.sh.template --> hive-env.sh

    c) hive-log4j.properties.template --> hive-log4j.properties

    d) hive-exec-log4j.properties.template --> hive-exec-log4j.properties

3、修改hive-env.sh文件，打开下面的注释

    a) # export HADOOP_HEAPSIZE=1024

    b) #HADOOP_HOME=/hadoop/hadoop-1.0.4

    c) #export HIVE_CONF_DIR=/hive/hive-0.9.0/conf

4、先启动hadoop,然后进入hive-1.1.1/bin目录下执行./hive

    a) 报错为：Terminal initialization failed; falling back to unsupported，

        具体错误为：

            ERROR] Terminal initialization failed; falling back to unsupported

            java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but              interface was expected

            解决方法：删除位于$HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar 的 jline-0.9.94.jar 文件，重新启动hadooop,hive即可

    

转载于:https://my.oschina.net/KangL/blog/690851