hadoop
Snowballl
数据库攻城师
展开
-
Hadoop+HBase+ MapReduce
对于Hadoop分布式文件系统本身来说,重要的出发点在于硬件故障是常态,不是非异常的状态,我们可以摒弃采用IBM小型机方案,Hadoop中数据可以自动复制,一份数据可以复制成三份,第一份在一台服务器上,第二份数据在另外一台机架的另外一台服务器上,第三份数据可能在另外一台机架的另外一台服务器上,作为分布式文件系统,每次请求写入的磁盘和服务器物理地点可能不一样,可以带来高并发的读写请求。 Map转载 2013-10-28 16:50:01 · 573 阅读 · 0 评论 -
Hadoop三节点控制数据
在实际使用过程中,联通发现约10分钟的记录可以查到,用HBase处理这么海量的数据时候,入库速度非常非常迅速,另外查询速度也非常非常迅速。另外系统的存储不少于6个月原始上网记录能力,中间的统计报表会保存不少于5年,现在的数据查询速度,查询一个用户上网记录,比如有几万条记录,在几千亿条记录当中检索的时间小于一秒钟,当然,这个时间不包括查询页面的时间。 这是上网记录详单内容,存储了很多用户上网记转载 2013-10-28 16:51:22 · 968 阅读 · 0 评论 -
Hadoop不是解决大数据问题的唯一方案
1.对于大数据的渴望 很多人相信他们拥有正真“大”的数据, 但通常情况并非如此。 当考虑数据容量和理解大多数人对“大数据”处理的想法的时候, 我们应当参考这篇研究论文, 没有人会因为买了一个集群的服务器而被辞退, 它告诉了我们一些有趣的事实。 Hadoop是被设计成用来处理在TB或PB级别的数据的, 而世界上大多数的计算任务处理的是100GB以下的输入数据。(Microsoft和Yahoo在原创 2013-10-31 16:25:41 · 581 阅读 · 0 评论 -
hadoop在移动中的用途
hbase用于查询详单mapreduce用来汇聚 也可以把汇聚后的数据存储在数据库。浙江移动使用hadoop已经上线了wap业务原创 2013-11-05 13:10:57 · 527 阅读 · 0 评论