分布式系统组件简介

最新推荐文章于 2024-07-15 09:42:39 发布

Gone!

最新推荐文章于 2024-07-15 09:42:39 发布

阅读量5.2k

点赞数

分类专栏：分布式系统架构

本文链接：https://blog.csdn.net/weixin_44570690/article/details/86650582

版权

本文介绍了分布式系统的重要组件，包括Hadoop的三个核心部分：分布式文件系统HDFS，用于数据存储和备份；MapReduce编程模型，实现分而治之的数据处理；以及Yarn，作为分布式资源管理器，协调集群资源。通过理解这些组件，读者可以更好地掌握分布式系统的工作原理。

摘要由CSDN通过智能技术生成

Hadoop

具有分布式的集群结构，我们把实际存储数据的节点Datanode
具有一个统一对外提供查询，存储，搜索的机器节点Namenode
- 对外能够和客户端打交道
- 对内跟实际存储数据的节点打交道
具有备份机制解决了单点故障
具有统一的API 对客户端来说无需担心集群内部的事情只要我们调用API，就可以进行文件的读取，存储，搜索等，甚至可以提供统一的文件引用
例：fs =new FileSyatem（）
fs.add fs.copy fs.rm 等等