云和集群有什么区别?

我们常说的集群是针对于某项单独的功能或者说是某几个功能的集合体。

举个例子,比方有100台机器组成一个集群,这个集群里面50台机器装了hadoop,10台机器装了spark,剩下40台机器再装一个查询引擎presto。诸如此类,把多项能力整合成一个服务器组,交付并服务于某一个项目或者是某一个事业单位。

而云,它其实就相当于是在集群和用户之间设立了一道墙,这个墙的目的是为了整合各种集群资源,并对外提供服务,我们日常所接触到的云,通常都以saas服务存在,或者可以把云本身看作是一个应用服务,归根结底是协助用户方把原本只能运行在相对于云而言固定的集群上的开发需求分摊开,至于分摊到哪种程度,就看这个云的大小了,至于它内部是怎么集成,这个云下的各种集群相互之间又是怎么调用,这就是这个云,也就是应用程序底层的逻辑控制了,用户侧只需要关心的是在saas页面上提交当前云能够处理的任务需求即可。

以博主之前工作中遇到的一个云举例,云下挂了八套集群,这八套集群里有hadoop、hive、spark、 flink、presto这几种能力,其中hadoop和hive不止一套,云提供了一个saas服务的页面,所有的操作都要携带三个认证要素分别是权限组、组下用户和集群名称,比方说我现在要建立一个hive表,按照操作要求,只需要建表的时候,通过拼接location路径的方式告诉云,我这张表,要存在云下哪个集群,数据权限方是谁,哪个命名空间下以及它的表名是什么即可。当然,此时表名这种重要的元数据信息,就从原来的单个集群之中唯一变成了云中唯一,至于怎么校验就是云自身的底层去处理了。

此外,在云和集群之间有一个趣事,就是想赚钱就玩云,说的是如果你只玩集群,那么这个集群通常是要交付给顾客的,就是说从机器的采购到服务的搭建,最后再到项目的开发整一套流程搞完,到手里其实就剩不了多少了,因为机器本身可能就占了整个项目收益的一半,这还不算宽带、运维、安防组件,等等杂七杂八的东西,而上了云就不一样了,因为不需要给用户交付那么多的东西,说白了就是卖服务,当然,这里面有个特例,就是如果你买的是私有云,通常价格比较昂贵,因为它的成本核算流程和玩集群的是一样的,但是公有云往往就没有那么昂贵了,这是因为目前业界,公有云是最容易耍小九九的玩意,最常见的就是超卖,就是说可能这个云下有500台机器,组成了一个庞大的计算能力,但是卖给用户的时候,没有哪个用户说用1t足够开发,那就买只1t了,这就导致向a用户卖出去的底层资源,很可能又卖给了b用户,说白了,卖方就是在赌,用户不会把买的集群资源使用率憋满,如果真的憋满了,那卖方也有理由,最常用的理由往往就是流量过大做限制了,这个时候就比较难受,你跑任务还是干其他的事情,往往会因为文件磁盘读写IO流不够而报错😅😅

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值