前言
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。
提示:以下是本篇文章正文内容,下面案例可供参考
一、Hadoop的组成
Hadoop一般指的是Hadoop生态圈,包括:
1.Hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统(相当于磁盘)
2.Hadoop MapReduce:一个分布式的离线并行计算框架。(形象理解就相当于跑的一个个应用程序,比如QQ)
3.Hadoop Yarn:作业调度与集群资源管理的框架(相当于电脑系统)
4.Hadoop Common:支持其他模块的工具模块,就是辅助前三个能正常运行的一些工具包。
二、Hadoop是用来做什么的?
Hadoop 理解为大数据的操作系统。管存储、计算,主要将单机的工作任务进行分拆,变成协同工作的集群。用以解决日益增加的文件存储量和数据量瓶颈。
三、Hadoop有什么优势?
1.高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或者存储出现故障,也不会导致数据的丢失
2.高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
3.高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
4.高容错性:能够自动将失效的任务重新分配。
四、为什么用Hadoop
1.Hadoop可以轻松地处理大量的结构化、半结构化和非结构化数据。
2.实施成本较低,因为它可以使用普通商用硬件并根据需求伸缩。
3. Hadoop拥有一个处于不断增长状态中的社区,该社区通过频繁提交bug修复和增强功能来支持Hadoop。
4. Hadoop自身的库在构建时充分考虑了可用性,并且它的功能不依赖于底层的硬件。
5. 由于Hadoop固有的处理无格式数据的能力,使得它能灵活地处理各种数据。
6. Hadoop天生具有云化的属性,因此在云服务环境中部署完整的 Hadoop很容易实现。
7. Hadoop天然具有健壮性和容错能力。
8. Hadoop拥有强大的计算能力,因此非常适合用于计算密集型的分析需求。
9. Hadoop具有很高的运算速度,可以很容易地处理复杂的计算逻辑。
五.Hadoop解决了什么问题
1.大数据存储问题-HDFS
2.大数据计算问题-Mapreduce
总结
Hadoop是一个重要的大数据生态圈,它包含HDFS,MapReduce,Yarn以及common等重要组件。