开发漫谈:S4不是F4 分布式流计算应用广

S4是一款受Map-Reduce模式启发的分布式流处理引擎,在大数据环境下被广泛应用。谷歌、必应、雅虎等公司利用S4实现在用户查询响应中提供结构化的Web结果的同时插入基于流量的点击付费模式的文本广告。S4与Storm等流计算框架一样,都是分布式流数据实时与持续计算的基础。
摘要由CSDN通过智能技术生成

S4是什么鬼?不是F4才风靡全国吗?

殊不知,这S4在IT圈早已经是炙手可热的存在,受欢迎程度绝不亚于当年的F4。好吧,其实不能这么比。

S4的出现还要归功于互联网的快速发展,从最初的web1.0时代,到后来的web2.0时代,再到ego net,可以说数据量在呈指数级不断上升。因为数据量不断提升,导致服务器引擎压力不断增大,如何解决服务请求峰值过高,负载过重问题呢?

首先我们需要了解一下什么是S4。

S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受Map-Reduce模式启发的分布式流处理引擎。

S4不是F4 分布式流计算平台重要组成


S4

从S4目前的应用情况来看,谷歌、必应、雅虎都有应用,他们典型的做法是在用户查询响应中提供结构化的Web结果的同时插入基于流量的点击付费模式的文本广告。

从技术的角度讲,S4与Storm等流计算框架一样,都是分布式流数据实时与持续计算的基础。而分布式流数据实时与持续计算除了S4之外,还需要MapReduce、Dryad等全量/增量计算平台、CEP以及EDA模型、还有Pregel等图计算模型。

在大数据环境下,企业生产环境的主要需求是图最小的代价通过增加更多的机器来提高推土量的能力和在存在系统故障情况下,能够实现自动灾备同时不影响持续提供服务的能力。通过负载分流,我们可以实现系统处理速度赶上事件流量,或者通过降级,实现关键业务顺利运转。这种降级的方式也在微信红包高峰期曾被采用。

实际上,S4的存在就是为大数据而服务。而无论是分布式流计算平台,还是分布式架构都随着大数据的快速成长,随着数据请求和数据量的增长,得到了越来越多的应用。

本文转自d1net(转载)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值