HIive_原理与安装(一)

•  

• HIVE 基本概念

---

• Hive 简介

什么是Hive

hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

为什么用Hive

难点：学习成本太高；项目周期要求太短；MapReduce实现复杂逻辑开发难度大；

优势：接口采用类SQL语法，提供快速开发能力；不需要写MapReduce，减少学习成本；功能扩展方便；

Hive 特点

可扩展： Hive可以自由的扩展集群规模，一般情况下不需要重启服务

延展性： Hive支持用户自定义函数，可以根据自己的需求实现自己的函数

 容  错： 节点出现问题SQL扔可完成执行

 

---

• Hive 架构

基本组成：

用户接口：包括CLI 、 JDBC/ODBC 、 WebGUI

功能：CLI为shell命令行；JDBC/ODBC是hive的java实现，与传统数据库JDBC类似；WebGUI通过浏览器访问；

元数据储存：通常储存在关系数据库中 如 mysql derby

功能：hive 将元数据储存在数据库中，元数据包括表的名字，表的列和分区及其属性，表的数据所在目录等等；

解释器：编译器 、 优化器 、执行器

 

Hive 和 Hadoop 的关系

Hive利用HDFS存储数据，利用MapReduce查询分析数据

 

 

Hive 和传统数据库对比

hive适合用于海量数据的离线分析

 

总结：hive具有关系型数据库的查询分析功能，但应用场景完全不同，hive只适合用来做批量数据统计分析，数据量大、对应的延迟较高！

Hive 的数据存储

1. hive 中所有的数据都存储在HDFS中，没有专门的数据存储格式（支持 Text,SequenceFile,ParquetFile,RCFILE 等）
2. 只需要在创建表的时候告诉 hive 数据中的列分隔符和行分隔符 ，Hive 就可以解析数据

3. Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

table：在hdfs中表现所属db目录下一个文件夹

external table：与table类似，不过其数据存放位置可以在任意指定路径

partition：在hdfs中表现为table目录下的子目录

bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

 

---

 

HIVE 的安装部署

1.上传tar包

2.解压                             tar -zxvf hive-0.9.0.tar.gz 

3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能连通hadoop集群的节点）

    mysql安装仅供参考，不同版本mysql有各自的安装流程
        rpm -qa | grep mysql
        rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
        rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm 
        rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm 
    修改mysql的密码
    /usr/bin/mysql_secure_installation
    （注意：删除匿名用户，允许用户远程连接）
    登陆mysql
    mysql -u root -p

4.配置hive

    （a）配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home 
    
    
    （b）配置元数据库信息   vi  hive-site.xml 
    添加如下内容：
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://itcast01:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root123</value>
<description>password to use against metastore database</description>
</property>
</configuration>
    
5.安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
    如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
    mysql -uroot -p
    #(执行下面的语句  *.*:所有库下的所有表   %：任何IP地址或主机都可以连接)
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION;
    FLUSH PRIVILEGES;

6. Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 
/home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

7.启动hive
bin/hive

---