架构类
记录点滴
这个作者很懒,什么都没留下…
展开
-
实例讲解Hadoop Map-Reduce过程
转自:http://www.danfancy.com/612.htmlHadoop当然是处理大数据必备的工具啦,其安装部署比较简单,大家可以参考饭团在后面列出的一些博文进行安装。另外还需要掌握Hive,HBase,Mahout这些火热的技术。下面就跟随小饭团先从一个小例子来看Hadoop的执行过程,我们通过下面这个天气数据处理的例子来说明Hadoop的运行原转载 2014-03-05 21:45:36 · 1045 阅读 · 0 评论 -
淘宝数据魔方技术架构解析
原文:http://www.tbdata.org/archives/1789#more-1789淘宝数据魔方技术架构解析淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产转载 2014-03-05 22:21:55 · 756 阅读 · 0 评论 -
DataX简介
转自:http://code.taobao.org/p/datax/wiki/DataX%E4%BA%A7%E5%93%81%E8%AF%B4%E6%98%8E/1、DataX是什么?DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成。转载 2014-03-06 17:07:12 · 3452 阅读 · 0 评论