Hadoop中Zookeeper,HDFS,Hbase,Hive,Pig的概念介绍与比较

本文介绍了Hadoop生态中的关键组件,包括Zookeeper、HDFS、HBase、Hive和Pig。Zookeeper提供协调服务,HDFS是分布式文件系统,HBase是分布式数据库,Hive提供了基于SQL的数据仓库工具,而Pig则是一种简化Hadoop数据分析的语言。Pig以Pig Latin表示,通过MapReduce实现并行处理,适合快速编写数据转换脚本,而Hive则更适用于结构化的数据仓库查询和分析。
摘要由CSDN通过智能技术生成

Hadoop:

一个分布式系统基础架构,由Apache基金会所开发。

用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个 分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高 容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问 应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值