对分布式的理解

1 分布式相对于单体应用而言:

多了以下几个特性:

  1 应用的内部组成,功能模块做了划分,每个模块都可以单独出来,作为一个服务 ,比如订单,商品,和,用户这3个维度就可以独立开来,独立部署,网络通信;

  2 每个服务,可做到弹性扩容,增删节点; 即:以一个集群的形式统一对外提供服务;

 3  正因为有了集群,从而保证了高可用,避免了单点故障

 

 

Hadoop分布式系统是一个用于处理大数据的分布式计算框架,它基于Google的MapReduce模型和Google文件系统(GFS)等思想设计而成。它由一系列组件组成,包括HDFS(Hadoop分布式文件系统)、MapReduce、YARN(Yet Another Resource Negotiator)等。 对Hadoop分布式系统的理解可以从以下几个方面展开: 1. **数据分布**:Hadoop分布式系统通过设计合理的数据分布算法,将数据分布在集群中的各个节点上,以确保数据的高效处理和可靠性。 2. **计算模型**:Hadoop分布式系统采用了MapReduce计算模型,该模型将大数据处理任务分解为一系列的Map和Reduce操作。Map操作对数据进行处理并生成中间结果,Reduce操作则对Map的输出进行汇总和计算,以生成最终结果。 3. **集群管理**:YARN是Hadoop分布式系统中的资源管理系统,它负责集群中各个节点的资源分配和管理,以确保计算任务的正常运行。 4. **扩展性**:Hadoop分布式系统具有很强的扩展性,可以通过不断增加节点来提高处理能力,同时保持较高的性能和可靠性。 5. **容错性**:Hadoop分布式系统具有强大的容错能力,能够自动检测和处理节点故障,确保系统的稳定运行。 6. **可靠性**:Hadoop分布式系统采用数据冗余和备份等技术来保证数据的高可靠性,即使在节点故障或网络故障情况下也能保证数据的安全性。 总的来说,理解Hadoop分布式系统需要掌握其基本组件和工作原理,了解数据分布、计算模型、集群管理、扩展性、容错性和可靠性等方面的知识。通过实践和经验积累,可以更好地掌握和应用Hadoop分布式系统来解决各种大数据处理问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值