大数据时代分析工具的演变

原创 2015年12月02日 12:17:33

大数据时代分析工具的演变

 

         大数据如今已经不再是什么新的名词,五中全会大数据上升为国家战略,BAT巨头早已布局多年,大数据时代已经真正来临,但我们真的准备好了么?

         大家都知道大数据中蕴含大量的数据价值,比如说淘宝与天猫的用户消费行为、滴滴打车可以知道用户每天去了哪里、用户在优酷上都看了那些视频、移动运营商的海量客户终端信息以及上网行为等、大型零售商每天的销售数据,订餐网上用户每天吃了什么,等等大数据金矿无处不在。但淘出来的才是金子,否则只是一堆土而已,即占用场地,还要花钱去保管和维护这堆土。

         大数据时代金矿已经有了,如何利用好这个金矿,某种意义上取决于我们手上的工具。熟话说“没有那金刚钻,就别揽瓷器活”,工具是否适用,直接决定着我们能否进行挖金,以及挖金的速度与效率。适合用铁锹还是挖掘机,对挖金来说有着质的不同。

第一个金刚钻Hadoop

         Hadoop是大数据时代的第一个金刚钻。笔者从08年开始研究hadoop源码,当时中文资料还是比较少的,国内除了BAT外其他公司用的也很少,初次接触hadoop是因为被当时公司的流量系统所困扰,当时公司网站的流量已经达到了每天接近一个亿的水平,最初选择了postgresql来计算数据,但是普通机器根本无法计算,无奈之下我们花大价钱买了128G内存(在当时是很奢侈的)的服务器,运行在postgresql的内存表里才勉勉强强的计算出来。直到有一天遇到了hadoop,你懂的,一个HiveSql在几台普通硬件的机器上,一亿数据几个小时就出结果了。

         如今Hadoop已经不再神秘,相关书籍越来越多。但是伴随着互联网技术的日新月异,Hadoop已经不能满足用户了。数据时效性差,以及查询的响应效率低,那些对时效性要求较高的用户场景无法满足。Hadoo目前面临两两方面的挑战,第一,数据从产生到能够最终出结果要等待数小时,时效性较差。第二,多个Job任务,相互之间争抢资源,而且由于采用暴力扫描原始数据的方式,对机器资源的消耗太大,每天能够跑的计算任务个数十分有限。

第二个利器阿里JStorm

         JStorm的出现主要是因为Hadoop满足不了支付宝成交实时分析的需求。阿里的双十一活动以及其他活动都有对阿里网站成交流量实时展示的需求,通过运营活动,来了解开始的几分钟或者几秒钟内,实时流入了多少的流量,带来多大的成交。正巧当时Apache Storm正式开源,阿里团队认为Storm正适合阿里的业务,但是Storm的核心逻辑采用Clojure编写,熟悉这门语言的太少,另外业务需要定制化的逻辑,故阿里团队花费3个多月的时间阅读Storm的源码,并将其Clojure部分更换为Java代码。笔者曾是团队的一员,有幸成为其committer,离开阿里后,团队其他兄弟将其开源,贡献了出去,如今Jstorm已经被Apache接受,正式成为Storm项目的子项目。

         Storm能够满足企业对数据时效性的要求,但跟现有的其他大数据的实时系统一样,都是采用预计算的方式。因流式系统不保存原始日志,数据只能安装固定的维度和粒度进行计算与汇总,例如只能按照淘宝的类目、分钟等维度汇总统计。众所周知,运营情况是千遍万化的,很多都是突发事件,维度并不能预先固定,很多事物也需要多方面展示,要经过数次的不同角度、不同粒度的钻取,来发现运营活动的规律。基于这种场景,我们需要保留原始日志,同时需要非常快速的对这些原始日志进行快分析与计算。这样高需求的场景,数据工具既要有hadoop+hive计算的灵活性,又要有Jstorm的时效性和速度。Storm就显出了它的不足。

 

新生代数据挖掘机延云YDB

    YDB是延云针对用户对大数据检索快速、实时、多维度的需求而开发的分析软件,可以说是笔者的心头好。

YDB将传统数据库索引技术应用在大数据技术上,打破目前大数据计算技术的僵局。将大数据检索向时效性更强,查询方式更灵活,执行效率更高的方向演进。虽然引用传统索引技术,但是对硬件的需求并不比hadoop高,不会让小型用户望而却步。技术上YDB采用Java语言编写,接地气,Sql接口用户也更易于上手使用,同时每天千亿增量万亿总量的数据量也能满足高端用户的需求。YDB主要技术方向在大索引,大索引的好处在于加快了检索的速度,减少查询中的分组、统计和排序时间,提高系统的性能和响应时间来节约资源。大索引技术的运用才能使YDB在如此大规模的数据量下依然保持查询响应时间在几秒,数据导入延迟在几分钟。

 

    大数据时代拼的不仅仅是数据量有多大,还要拼速度,拼谁的更快、更准、成本更低。大数据的运用领域还在不断的扩张,大索引技术还有很长的路要走。终有一天大数据会带给我们震撼世界的影响。

 

 

 

 


大数据时代分析工具的演变

大数据时代分析工具的演变            大数据如今已经不再是什么新的名词,五中全会大数据上升为国家战略,BAT巨头早已布局多年,大数据时代已经真正来临,但我们真的准备好了么?      ...

云计算大数据时代从空调到电视的演变你想到了什么?

继空调之后,电视台成为阿里云计算的下一个大数据重塑目标。3月20日下午,阿里云宣布联手新奥特、华通云数据,打造中国最大的全媒体云计算平台。该平台可以在一周内,帮助传统电视台变成多屏网络电视台,支持电脑...
  • hmy1106
  • hmy1106
  • 2015年02月06日 17:03
  • 580

Splunk—云计算&大数据时代的超级日志分析和监控利器

信息科技的不断进步,一方面使得银行业信息和数据逻辑集中程度不断得到提高,另一方面又成为银行业稳健运行的一大安全隐患。Splunk作为智能的IT管理运维平台,能够帮助银行业积极迎接、应对和解决不断出现的...

大数据时代小数据分析

  • 2015年08月14日 15:51
  • 720KB
  • 下载

《云端时代杀手级应用:大数据分析》扫描版[PDF]

《云端时代杀手级应用:大数据分析》扫描版[PDF] 中文名: 云端时代杀手级应用:大数据分析 作者: 胡世忠 图书分类: 网络 资源格式: PDF 版本: 扫描版 出版社: 人民邮电出版社 发布时间...

每周一本书之《大数据分析:决胜互联网金融时代》

大数据与金融产生深度融合的一个主要表现就是金融互联网化,这就是我们通常所讲的互联网金融。 近年来互联网金融一直是创业和投资热点,包含P2P网贷、理财平台、智能投顾、在线支付、金融超市、股权众筹等...

LinkedIn高级分析师王益:大数据时代的理想主义和现实主义

王益,LinkedIn高级分析师。他曾在腾讯担任广告算法和策略的技术总监,在此期间他发明了并行机器学习系统“孔雀”,它可以从数十亿的用户行为或文本数据中学习到上百万的潜在主题,该系统被应用在腾讯可计算...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据时代分析工具的演变
举报原因:
原因补充:

(最多只允许输入30个字)