Hive产生背景及Hive是什么

Hive产生背景

           Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。 结构可以投射到已经存储的数据上。 提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。产生背景有以下几个方面：

• MapReduce编程的不便性
• HDFS上的文件缺少Schema（字段名，字段类型等）

Hive是什么

• 由Facebook开源，最初用于解决海量结构化的日志数据统计问题
• 构建在Hadoop之上的数据仓库
• Hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同）
• 通常用于进行离线数据处理（采用MapReduce）
• 底层支持多种不同的执行引擎（Hive on MapReduce、Hive on Tez、Hive on Spark）
• 支持多种不同的压缩格式、存储格式以及自定义函数（压缩：GZIP、LZO、Snappy、BZIP2..  ； 存储：TextFile、SequenceFile、RCFile、ORC、Parquet ； UDF：自定义函数）

为什么要使用Hive

• 简单、容易上手（提供了类似SQL查询语言HQL）
• 为超大数据集设计的计算/存储扩展能力（MR计算，HDFS存储）
• 统一的元数据管理（可与Presto/Impala/SparkSQL等共享数据）

Hive发展历程：

• 08/2007-Journey Start from Facebook
• 05/2013-Hive 0.11.0 as Stinger Phase 1 - ORC，HiveServer2
• 10/2013-Hive 0.12.0 as Stinger Phase 2 - ORC improvement
• 04/2014-Hive 0.13.0 as Stinger Phase 3 -vectorized query engine and Tez
• 11/2014-Hive 0.14.0 as Stinger.next Phase 1-Cost-based optimizer
• 01/2015-Hive 1.0.0
• 03/2015-Hive 1.1.0
• 05/2015-Hive 1.2.0
• 02/2016-Hive 2.0.0
• 06/2016-Hive 2.1.0

Hive 在Hadoop生态系统的位置

Hive体系架构

SQL Parser将SQL语句转换成抽象语法树--->生成逻辑执行计划---->查询优化----> 物理执行计划（SerDes序列化与反序列化，UDFs，执行引擎）

Hive部署架构--测试环境

Hive底层的元数据存放在MySQL中或Derby（自带的，仅仅只能链接一个客户端进行操作）

Hive部署架构--生产环境

Hive环境搭建

1）Hive下载：http://archive.cloudera.com/cdh5/cdh/5/
wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz


2）解压
tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/

3）配置
系统环境变量(~/.bahs_profile)
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH


实现安装一个mysql， yum install xxx

${HIVE_HOME}/conf

cp hive-env.sh.template  hive-env.sh

vi hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

vi hive-site.xml

<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/sparksql?createDatabaseIfNotExist=true</value>
    </property>
    
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>

4）拷贝mysql驱动到$HIVE_HOME/lib/
cp ~/software/mysql-connector-java-5.1.27-bin.jar .

5）启动hive: $HIVE_HOME/bin/hive