Hadoop历史、HDFS特点及对大数据时代的意义

最新推荐文章于 2022-12-11 20:49:43 发布

wx13269317296

最新推荐文章于 2022-12-11 20:49:43 发布

阅读量1.2k

点赞数

分类专栏：大数据文章标签： Hadoop 大数据时代

本文链接：https://blog.csdn.net/wx13269317296/article/details/85676199

版权

Apache Hadoop是大数据处理的关键驱动力，它通过HDFS和MapReduce解决了传统数据处理方式对大规模异构数据的局限。Hadoop允许廉价处理大量结构化和非结构化数据，提供数据冗余保障，且在服务器故障时仍能继续计算。MapReduce通过任务分解实现分布式计算，而HDFS确保数据访问。这一组合提供了对大数据的强大支持。

摘要由CSDN通过智能技术生成

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。
本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。
MapReduce——Hadoop的核心
在这里插入图片描述
Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。除了Hadoop，你还会在MapReduce上发现MPP（Sybase IQ推出了列示数据库）和NoSQL（如Vertica和MongoDB）。
MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人