大数据江湖之即席查询与分析(中篇)--即席查询与分析的典型场景

       上篇提到了大数据做数据分析的三种最为典型计算模式:批处理(Batch),即席查询与分析(Ad-hoc),流计算(Stream);对于批处理和流计算,虽然小弟也略知一二,早在Hive还没出来之前,也是从一字一句的写MapReduce代码走过来的,还有后来作为JStorm的Committer,老东家阿里把JStorm贡献给了Apache基金会,也算是在这两个领域有所涉足,不过小弟是领教过一些大神的,这里就不献丑了,还是承接上篇,分享一下小弟对即席查询与分析(Ad-hoc)的理解,列举三个较为典型的项目案例,供各位围观吐槽。

        一、公安交通行业—机动车缉查布控即席查询与分析

        我国的所有的省(区、市)都已完成了机动车卡口系统的联网,全国接入的交通卡口达到数十万个,汇聚的机动车通行数据超过万亿条。以一个相对发达的中等规模省市为例,每地市每日采集过车信息近千万条,每年采集过车数据数十亿条,全省每年将积累近千亿条的机动车通行数据。

        如此海量的数据如何管好、用好是巨大挑战,也是公安交通业务创新的重大机遇。在实际项目案例中,我们看到还有较多客户采用传统的关系型数据库存储如此海量数据,由于数据过于庞大,即便在一个城市内也不得不分区分片管理,导致数据被人为地割裂,数据产生价值的基础条件被极大的破坏。行业内极度缺乏一套统一的平台对数据进行集中管理,让全量数据的价值发挥到最大化,同时也更为缺乏的是通过强而有力的技术手段对数据的价值进行深层次地分析挖掘。通过几个项目的实践,我们看到该类业务场景非常适合使用大数据对数据进行集中的存储管

  • 8
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值