这个产品能支持多大数据量?

经常有用户会问这个问题,你家的产品能处理多大数据量?似乎是这个值越大产品就越牛。

这个问题,其实没多大意义。


能处理多大的数据量,还有个很关键的因素是期望的响应时间,在脱离这个因素单纯谈大数据产品的数据处理量,就不知道怎么回答了。

考虑只有单台机器的简单情况。如果是希望秒级响应的 OLAP 式汇总,那么 GB 级都是挺大的数据了,几乎不可能有什么产品能处理 TB 级数据(除非有巨大内存)。而如果是数小时内完成的 ETL 运算,那么单台机器处理 TB 级也不是多大的问题。于是就会发生这样的现象:同一个产品能够处理某些场合下的 TB 级数据,却处理不了另一些场合下的 GB 级数据。


不过,讨论一个大数据技术能支持的集群规模是意义的。

大集群和小集群的实现技术很不一样,大集群需要有强容错能力和统一的管理机制,而小集群则不需要;而把大集群技术用于小集群,又会造成很多资源的浪费。某种技术面向多大规模的集群,一般是在设计之初就确定了的,并不容易随意改变。

确定了期望的响应时间,以及可能支持的集群规模,这时候再来问某项大数据技术能够处理的数据量,才是个有意义的问题。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值