一.几个基本的模块
1.HDFS:分布式海量数据存储功能 (将数据分布式存储到各个节点)。
2.MapReduce:分布式并行编程模型和计算框架。解决分布式编程门槛高的问题,基于其框架对分布式计算的抽象 map 和 reduce,可以轻松实现分布式计算程序。(只需要编辑继承于MAPPER用于接受并处理切好片的数据的map类、进行处理输出格式的继承Reducer的reduce类、以及调动各个部分的中枢Driver主类)---->一种计算框架
3.Yarn:提供资源调度与任务管理功能
资源调度:根据申请的计算任务,合理分配集群中的计算节点(计算机)。
任务管理:任务在执行过程中,负责过程监控、状态反馈、任务再调度等工作。
4.Streaming:解决非 Java 开发人员使用 Hadoop 平台的语言问题,使各种语言如 C++、python、shell 等均可以无障碍使用 Hadoop 平台。
5.Hive:提供数据摘要和查询的数据仓库。解决数据仓库构建问题,基于 Hadoop 平台的存储与计算,与传统 SQL 相结合,让熟悉 SQL 的编程人员轻松向 Hadoop 平台迁移。
6.HBase:基于列式存储模型的分布式数据库。解决某些场景下,需要 Hadoop 平台数据及时响
应的问题。
7.Zookeeper:分布式协同服务。主要解决分布式下数据管理问题:统一命名、状态同步、集群管理、配置同步等。
二.根据模块的作用进行分类
HDFS作为存储的模块
Yarn是资源的调度
MapReduce、spark计算框架
Hive、String、HBase作为应用层面
hadoopd的基本了解
最新推荐文章于 2024-04-26 22:46:43 发布