Hadoop
wxy_fighting
这个作者很懒,什么都没留下…
展开
-
分布式计算开源框架Hadoop入门实践(一)
在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技术词汇转载 2013-05-07 09:08:55 · 1001 阅读 · 0 评论 -
Hadoop基本流程与应用开发
分布式计算开源框架Hadoop入门实践(三) Hadoop基本流程 相关厂商内容 优化您的数据库与时间,实现更高性能 还记得Delphi么?Embarcadero携ER/Studio、RAD Studio XE和HTML5 Builder重装上阵 一个图片太大了,只好分割成为两部分。根据流程图来说一下具体一个转载 2013-05-08 09:27:48 · 790 阅读 · 0 评论 -
HDFS+MapReduce+Hive+HBase十分钟快速入门
HDFS+MapReduce+Hive+HBase十分钟快速入门 1. 前言 本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。 2. Hadoop家族 截止2009-8-19日,整个Hadoop家族由以下几个子项目组成: 成员名 用途 Hadoop Common H转载 2013-06-10 13:02:02 · 1031 阅读 · 0 评论 -
统一资源管理与调度平台(系统)介绍
1. 背景 随着互联网的高速发展,基于数据密集型应用的计算框架不断出现,从支持离线处理的MapReduce,到支持在线处理的Storm,从迭代式计算框架Spark到流式处理框架S4,…,各种框架诞生于不同的公司或者实验室,它们各有所长,各自解决了某一类应用问题。而在大部分互联网公司中,这几种框架可能都会采用,比如对于搜索引擎公司,可能的技术方案如下:网页建索引采用MapReduce框架,自然转载 2014-01-29 17:56:14 · 1612 阅读 · 0 评论