大数据的仓库Hive学习(一)

      我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统,可是我们发现这跟我们平时常用的关系型数据库有很大区别,为了使用方便,产生了针对大数据存储的数据仓库Hive。

一、是什么

1、概念

      Hive 是一个基于 Hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换,最终生成一系列基于 hadoop 的 map/reduce 任务,通过执行这些任务完成数据处理。

2、体系结构

这里写图片描述

  • hiveserver

hiveserver启动方式:hive –service hiveserver
HiveServer支持多种连接方式:Thrift、JDBC、ODBC

  • metastore

      metastore用来存储hive的元数据信息(表格、数据库定义等),默认情况下是和hive绑定的,部署在同一个JVM中,将元数据存储到Derby中
      这种方式不好的一点是没有办法为一个Hive开启多个实例(Derby在多个服务实例之间没有办法共享)

这里写图片描述

      Hive提供了增强配置,可将数据库替换成MySql等关系数据库,将存储数据独立出来在多个服务实例之间共享

这里写图片描述

      甚至还可以将metastore Service也独立出来,部署到其他JVM中去,在通过远程调用的方式去访问

这里写图片描述

3、优缺点

  • 优点
可扩展

      Hive可以自由的扩展集群的规模,一般情况下不需要重启服务

延展性

      Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数

容错

      良好的容错性,节点出现问题SQL仍可完成执行

  • 缺点
不支持记录级别的更新、插入和删除操作

      Hive不是一个完整的数据库。Hadoop以及hdfs的设计本身约束和局限性地限制了hive所能胜任的工作。Hive不支持记录级别的更新、插入和删除操作。但是用户可以通过查询生成新表或者将查询结果导入到文件中。

查询延时比较严重

      因为Hadoop是一个面向批处理的系统,而mapreduce任务(job)的启动过程需要消耗较长的时间,所以hive查询延时比较严重。传统数据库中在秒级可以完成的查询,在hive中,即时数据集相对较小,往往也需要执行更长的时间。
由于Hadoop本身的时间开销很大,并且Hadoop所被设计用来处理的数据规模非常大,因此提交查询和返回结果是可能具有非常大的延时的,所以hive并不能满足OLAP的“联机”部分,至少目前并没有满足。如果用户需要对大规模数据使用OLTP功能的话,那么应该选择使用一个NOSQL数据库。例如,和Hadoop结合使用的HBase及Cassandra.

不支持事务 

二、相关联系

1、与HBase的关系

      Hive是基于Hadoop的一个数据仓库工具,是为简化编写MapReduce程序而生的,Hive十分适合数据仓库的统计分析。
HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。

2、与RDBMS的关系

这里写图片描述


总结:

      今天我们通过对Hive的学习,对大数据的处理又有了一定的认识。在以后的实际操作中,我们去慢慢掌握Hive的使用方法。通过不断学习,达到自己所追求的目标。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值