HIVE-所学复盘-1 - HIVE、MAPREDUCE基本概念

本文介绍了HIVE作为Hadoop数据仓库工具的工作原理,包括它如何利用MapReduce进行计算,与关系型数据库的区别,如存储系统、操作特性等。此外,还概述了MapReduce的三个主要阶段,并提到了HIVE的数据类型和CLI使用。
摘要由CSDN通过智能技术生成

1. 零零散散的概念

1. 系统们:
(1)Hadoop生态系统实现了特别的计算模型 Mapreduce,其可以将计算任务(例如查询)分割为多个处理任务,分散到一群硬件机器上,再将这些任务的计算结果合并,得最终成果。HIVE会监控每一个任务,确保其完成。
(2)文件系统:Hadoop 分布式文件系统(HDFS)。每个数据块(block)会被冗余多份。
(3)HIVE 是基于 Hadoop的一个数据仓库工具,可将结构化的数据文件映射为一张数据库表,且提供了一系列工具来数据提取、转化、加载(ETL)。

2. HIVE 与关系型数据库的区别:
(1)存储系统:HIVE 使用 HDFS,关系型数据库使用本地的文件系统。
(2)HIVE 不支持记录级别的更新、插入或删除,但是可以通过查询生成新表或将查询结果导入到文件。
(3)关系型数据库为实时查询设计,HIVE为海量数据挖掘准备,故实时性较差。
(4)HIVE易扩展存储能力和计算能力。
(5)HIVE中没有键的概念,但是可以对表建立索引。
(6)传统数据库为写时模式,写入数据时检查数据模式;HIVE为读时模式,在查询时验证模式。

3. 关于 Mapreduce:
(1&#

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值