实时并发大数据平台的认识

大数据特点:大量、高速、多样化、价值性。

实时并发大数据平台特点。

1、低延时。肯定的,不然无法体现实时,那么批处理就不太适合了。

2、分布式集群。分布式的思想就体现出了并发性(这个和计算机中的地址流水线、指令流水线思想差不多,都是将任务分为若干段,这样才能更好并发处理),单单是分布式,恐怕不行,因为如果分布式系统中某一个节点发生故障或者宕机,那么整个分布式系统都将无法正常运行了,所以还需要将分布式系统集群化,这样,保证了不会因为某一个节点导致整个系统的崩溃。

3、高速处理。因为大量的、高速的数据需要快速、稳定地被处理。

4、良好的扩展性。随着用户的增加,系统的数据量会大量增加,如果没有良好的扩展性,那么无法应该这种情况。

5、容错性。要保证系统中某个节点出问题,不会影响整个系统。

 

tracker系统。不仅仅是大的实时平台,我觉得,只要有业务需求,任何平台都需要一个tracker系统,收集用户的行为、系统性能数据等等,如果这些数据需要被实时处理,那么使用实时处理框架,如果不实时,那么可以使用批处理框架,最终存储在数据库中,可以统计这些数据,形成图像,供人分析。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值