-
-
HIVE 基本概念
-
Hive 简介
什么是Hive
hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
为什么用Hive
难点:学习成本太高;项目周期要求太短;MapReduce实现复杂逻辑开发难度大;
优势:接口采用类SQL语法,提供快速开发能力;不需要写MapReduce,减少学习成本;功能扩展方便;
Hive 特点
可扩展: Hive可以自由的扩展集群规模,一般情况下不需要重启服务
延展性: Hive支持用户自定义函数,可以根据自己的需求实现自己的函数
容 错: 节点出现问题SQL扔可完成执行
-
Hive 架构
基本组成:
用户接口:包括CLI 、 JDBC/ODBC 、 WebGUI
功能:CLI为shell命令行;JDBC/ODBC是hive的java实现,与传统数据库JDBC类似;WebGUI通过浏览器访问;
元数据储存:通常储存在关系数据库中 如 mysql derby
功能:hive 将元数据储存在数据库中,元数据包括表的名字,表的列和分区及其属性,表的数据所在目录等等;
解释器:编译器 、 优化器 、执行器
Hive 和 Hadoop 的关系
Hive利用HDFS存储数据,利用MapReduce查询分析数据
Hive 和传统数据库对比
hive适合用于海量数据的离线分析
总结:hive具有关系型数据库的查询分析功能,但应用场景完全不同,hive只适合用来做批量数据统计分析,数据量大、对应的延迟较高!
Hive 的数据存储
- hive 中所有的数据都存储在HDFS中,没有专门的数据存储格式(支持 Text,SequenceFile,ParquetFile,RCFILE 等)
- 只需要在创建表的时候告诉 hive 数据中的列分隔符和行分隔符 ,Hive 就可以解析数据
-
Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket。
db:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
table:在hdfs中表现所属db目录下一个文件夹
external table:与table类似,不过其数据存放位置可以在任意指定路径
partition:在hdfs中表现为table目录下的子目录
bucket:在hdfs中表现为同一个表目录下根据hash散列之后的多个文件
HIVE 的安装部署
1.上传tar包
2.解压 tar -zxvf hive-0.9.0.tar.gz
3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能连通hadoop集群的节点)
mysql安装仅供参考,不同版本mysql有各自的安装流程
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm
rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm
修改mysql的密码
/usr/bin/mysql_secure_installation
(注意:删除匿名用户,允许用户远程连接)
登陆mysql
mysql -u root -p
4.配置hive
(a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home
(b)配置元数据库信息 vi hive-site.xml
添加如下内容:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://itcast01:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root123</value>
<description>password to use against metastore database</description>
</property>
</configuration>
5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行)
mysql -uroot -p
#(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root123' WITH GRANT OPTION;
FLUSH PRIVILEGES;
6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的
/home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
7.启动hive
bin/hive