Hadoop和云计算的关系

个人理解:

Hadoop是一个能够对大量数据进行分布式处理的软件框架,它是一种技术的实现

 

资料:

Hadoop主要是由HDFSMapReduce组成,HDFS是一个分布式文件系统(Hadoop Distributed File System),MapReduce则是用于并行处理大数据集的软件框架。因此,Hadoop是一个能够对大量数据进行分布式处理的软件框架,它是一种技术的实现

Hadoop是Apache基金会下的一款开源软件,它实现了包括分布式文件系统HDFSMapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括国外的FaceBook,Twitter,Yahoo!等公司,国内的百度,阿里等,Hadoop运行在数以千计的服务器和数以万计的CPU的集群上。

基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop已被全球几大IT公司用作其”云计算”环境中的重要基础软件,如:雅虎正在开发基于Hadoop的开源项目Pig, 这是一个专注于海量数据集分析的分布式计算程序。亚马逊公司则基于Hadoop推出了Amazon S3(Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务。因此,Hadoop是云计算中一部分技术的实现,而不是全部

云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变,但云计算的概念其实早已提出很久,早在上世纪60年代,麦卡锡就提出了把计算能力作为一种像水和电一样的公用事业提供给用户的理念,这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算,21世纪初虚拟化技术、SOASaaS应用的支撑下,云计算作为一种新兴的资源使用和交付模式逐渐为学界和产业界所认知。因此,云计算的存在只是一种新的商业计算模型和服务模式

Hadoop云计算的关系

Hadoop云计算的关系

因此可以得出一个结论:Hadoop是一个能够对大量数据进行分布式处理的软件框架,它是一种技术的实现,是云计算技术中重要的组成部分,云计算的概念更广泛且偏向业务而不是必须拘泥于某项具体技术,云计算的存在只是一种新的商业计算模型和服务模式。因此,云计算才会出现“横看成岭侧成峰,远近高低各不同”,各种各样层出不穷的理解

 

http://tianhailong.com/hadoop%E5%92%8C%E4%BA%91%E8%AE%A1%E7%AE%97%E7%9A%84%E5%85%B3%E7%B3%BB.html

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一种用于处理大规模数据集的开源软件框架,它是云计算中的一个重要组成部分。Hadoop提供了一种分布式存储和处理大数据的方式,通过将数据分割成多个块并在分布式计算集群上并行处理,提高了数据处理的效率和可靠性。引用 云计算是一种通过网络提供计算资源和服务的模式,它的目标是将计算、存储和应用程序等资源集中管理并通过互联网提供给用户。在云计算中,用户可以根据自己的需求弹性地获取所需的计算资源,而不需要建立和维护自己的物理基础设施。云计算具有高度的可伸缩性和灵活性,能够为用户提供按需、按量计费的计算服务。引用 Hadoop云计算有密切的关系Hadoop利用云计算提供的分布式计算和存储能力,可以在云计算环境中更好地运行。同时,Hadoop本身也可以作为云计算平台的一部分,提供大规模数据处理的能力。引用 此外,Hadoop还与云计算中的分布式文件系统密切相关。Hadoop分布式文件系统(HDFS)是Hadoop框架中的一个重要组件,它提供了一种分布式的、面向块的、不可更新的、高度伸缩性的文件系统。HDFS可以运行在集群中的普通硬盘上,并且能够存储和处理大规模的数据。引用 综上所述,Hadoop云计算中的一个重要组成部分,通过利用云计算提供的分布式计算和存储能力,实现大规模数据的处理和存储。同时,Hadoop自身也可以作为云计算平台的一部分,提供数据处理的能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [云计算基础知识--Hadoop,spark,MapReduce,Hbase,IaaS,PaaS,SaaS](https://blog.csdn.net/weixin_42784535/article/details/115335397)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值