怎么理解hadoop和hdfs和hive和hbase?

  HDFS、Hive 和 HBase 是大数据处理领域中的几个关键组件,

HDFS,Hive,hBase都属于hadoop生态系统,此外hadoop生态系统还有其他的部分,比如说zooKeeper(分布式协作服务)、Ambari等等。


————————————————

hadoop和hdfs

Hadoop 是一个分布式计算框架,它提供了处理和分析大规模数据的能力。Hadoop 包含了多个组件,其中 HDFS(Hadoop Distributed File System)是其核心组件之一。HDFS 提供了可靠和高容错性的分布式文件系统,用于存储和管理海量数据。

Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最核心的设计就是hdfs和mapreduce,hdfs提供存储,mapreduce用于计算。

————————————————
 

hive

Hive 是基于 Hadoop 的数据仓库工具,它提供了类似于传统数据库的查询语言(HiveQL)来执行数据查询和分析操作。Hive 可以将结构化数据映射到 HDFS 上的文件,并使用类似 SQL 的语法来查询和分析大规模数据。

.Hive是Hadoop的延申。hive是一个提供了查询功能的数据仓库核心组件,Hadoop底层的hdfs为hive提供了数据存储,mapreduce为hive提供了分布式运算。

————————————————

HBase 是一个分布式的、面向列的 NoSQL 数据库系统,它是构建在 Hadoop 生态系统之上的。HBase 提供了实时的、高可扩展性的数据存储和访问能力,适用于对非结构化和半结构化数据进行读写操作。

拓展:
1.hive不存储数据,hive只是对数据进行分析计算,以及计算后的结果数据实际存放在分布式系统上,如HDFS;
2.hive某种程度来说也不进行数据计算,只是个解释器,只是将用户需要对数据处理的逻辑,通过sql编程提交后解释成mapreduce程序,然后将这个MR程序提交给yarn进行调度执行。所以实际进行分布式运算的是mapreduce程序。
3.因为hive需要操作hdfs上的数据集,那么它需要知道数据的切分格式,如行列分隔符,存储类型,是否压缩,数据的存储地址等信息。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值