云计算和大数据之间的区别与联系

  简单来说:云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切,但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然,如果解释更形象一点的话,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化后在进行分配使用。

        可以说,大数据相当于海量数据的“数据库”,通观大数据领域的发展我们也可以看出,当前的大数据发展一直在向着近似于传统数据库体验的方向发展,一句话就是,传统数据库给大数据的发展提供了足够大的空间。

        大数据的总体架构包括三层:数据存储,数据处理和数据分析。数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。

        而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合,这让大数据产生最终价值。

        不看现在云计算发展情况,未来的趋势是:云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话:“动一下鼠标就可以在妙极操作PB级别的数据”,确实让人兴奋不能止。

  • 1
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
云计算与⼤数据——分布式计算 分布式计算是⼀种计算⽅法,和集中式计算是相对的。 随着计算技术的发展,有些应⽤需要⾮常巨⼤的计算能⼒才能完成,如果采⽤集中式计算,需要耗费相当长的时间来完成。 分布式计算将该应⽤分解成许多⼩的部分,分配给多台计算机进⾏处理。这样可以节约整体计算时间,⼤⼤提⾼计算效率。 分布式计算⽐起其它算法具有以下⼏个优点: 1、稀有资源可以共享。 2、通过分布式计算可以在多台计算机上平衡计算负载。 3、可以把程序放在最适合运⾏它的计算机上。 其中,共享稀有资源和平衡负载是计算机分布式计算的核⼼思想之⼀。 ⽹格计算 ⽹格计算就是分布式计算的⼀种。如果某项⼯作是分布式的,那么,参与这项⼯作的⼀定不只是⼀台计算机,⽽是⼀个计算机⽹络,这 种"蚂蚁搬⼭"的⽅式将具有很强的数据处理能⼒。 ⽹格计算的实质就是组合与共享资源并确保系统安全。 ⼯作原理 分布式计算是利⽤互联⽹上的计算机的中央处理器的闲置处理能⼒来解决⼤型计算问题的⼀种计算科学。下⾯,我们看看它是怎么⼯作的: 越来越多的电脑处于闲置状态,即使在开机状态下中央处理器的潜⼒也远远不能被完全利⽤。我们可以想象,⼀台家⽤的计算机将⼤多数的 时间花费在"等待"上⾯。即便是使⽤者实际使⽤他们的计算机时,处理器依然是寂静的消费,依然是不计其数的等待(等待输⼊,但实际上 并没有做什么)。互联⽹的出现, 使得连接调⽤所有这些拥有限制计算资源的计算机系统成为了现实。 那么,⼀些本⾝⾮常复杂的但是却很适合于划分为⼤量的更⼩的计算⽚断的问题被提出来,然后由某个研究机构通过⼤量艰⾟的⼯作开发出 计算⽤服务端和客户端。服务端负责将计算问题分成许多⼩的计算部分,然后把这些部分分配给许多联⽹参与计算的计算机进⾏并⾏处理, 最后将这些计算结果综合起来得到最终的结果。 ⽬前⼀些较⼤的分布式计算项⽬的处理能⼒已经可以达到甚⽽超过⽬前世界上速度最快的巨型计算机。 BOINC分布式计算平台 BOINC是Berkeley Open Infrastructure for Network Computing的简称,即伯克利开放式⽹络计算平台。 BOINC是不同分布式计算可以共享的分布式计算平台。不同分布式计算项⽬可以直接使⽤BOINC的公⽤上传下载系统、统计系统等,这样 不仅可以发挥各个分布式计算之间的协调性,也能使分布式计算的管理、使⽤更加⽅便易⽤。 BOINC项⽬由美国加州⼤学伯克利分校(U.C.Berkeley)主持发起。 BOINC项⽬由美国国家科学基⾦会(National Science Foundation)赞助。 BOINC有⾃⼰的积分系统,因为在BOINC上可以运⾏的项⽬千差万别,⽐如项⽬A的任务包(Workunit,简称WU)在某台机器⾥需要3个⼩ 时完成,⽽项⽬B的任务包在这台机器⾥需要30个⼩时才能完成,显然⽤WU的数⽬来衡量⼯作量是不可⾏的;类似的,机器性能也有差 别,⽤CPU时间来衡量⼯作量更是不⾏的。积分系统只能通过⼀定的算法得到⽤户实际完成的计算量,这篇⽂章对BOINC中积分的计算⽅ 法进⾏了说明。 分布式计算与⼈类 由于现代⼈类各个课题学科繁多,涉及⾯⼴,⽽分类⼜细。⽽当今的每个学科似乎都需要进⾏⼤量的计算。天⽂学研究组织需要计算机来分 析太空脉冲(pulse),星位移动;⽣物学家需要计算机来模拟蛋⽩质的折叠(protein folding)过程;药物学家想要研制克服艾滋病 (AIDS)或⾮典(SARS)的药物;数学家想计算最⼤的质数和圆周率的更精确值;经济学家要⽤计算机分析计算在⼏万种因素考虑下某 个企业/城市/国家的发展⽅向从⽽宏观调控。由此可见,⼈类未来的科学,时时刻刻离不开计算。⽽分布式计算(Distributed Computing),以其独特的优点——便宜、⾼效⽽越来越受到社会的关注。 分布式计算格局 就⽬前来看,全球的各种分布式计算已有约百种,这些计算⼤多互⽆联系、独⽴管理、独⽴使⽤⾃⼰的⼀套软件。这种分布式计算互相割据 的格局很不利于发展的需要。⽐如,某个⽣物学研究机构需要利⽤世界各地志愿者的计算机来模拟蛋⽩质折叠的过程,那个⽣物学研究机构 没有分布式计算⽅⾯的专业⼈才,⽽但是社会上也并没有任何公司可以提供这样的服务,他们就不得不⾃⼰花费⼤量精⼒⽤于开发分布式计 算的服务器、客户端。这样⼀来,原来可以⽤于研究⽣物的时间⽤在了别的地⽅。刚才提到的⽣物学研究机构就是美国斯坦福⼤学的 PANDE⼩组。 安全性 对⽤户⽅来说,加⼊任何⼀个项⽬之前,您必须确保您可以信任项⽬的研制⽅,主要涉及两⽅⾯: 计算机上的隐私数据 您从项⽬⽅下载的计算程序,运⾏在本机,⽽且可以访问⽹络,因此,只有可靠的项⽬⽅才能保证您计算机上的隐私数据不会恶意的取⾛、 修改等。 个⼈计算机的寿命 虽

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值