本文介绍了Hadoop的起源，其与Google技术的关系，如GFS演变为HDFS，MapReduce对应Hadoop MapReduce，BigTable对应HBase。Hadoop的核心由HDFS和MapReduce组成，分别负责海量数据的存储和计算。此外，文章还提到了Hadoop的常见版本，如Apache、Cloudera和Hortonworks的发行版。Hadoop的应用场景广泛，包括在线旅游、移动数据、电子商务等。最后，简单提及了Hadoop的部署，可以通过访问172.25.3.1:9870来查看结果。
- MapReduce：Google的MapReduce开源分布式并行计算框架
- BigTable：一个大型的分布式数据库
演变关系：
- GFS—->HDFS
- Google MapReduce—->Hadoop MapReduce
- BigTable—->HBase
Hadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。
hadoop主流版本：
- Apache基金会hadoop
- Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”）
- Hortonworks版本（Hortonworks Data Platform，简称“HDP”）
Hadoop的框架最核心的设计就是：HDFS和MapReduce。
- HDFS为海量的数据提供了存储。
- MapReduce为海量的数据提供了计算。
Hadoop框架包括以下四个模块：
- Hadoop Common: 这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的Java文件和脚本。
- Hadoop YARN: 这是一个用于作业调度和集群资源管理的框架。
- Hadoop Distributed File System (HDFS): 分布式文件系统，提供对应用程
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
