![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 92
iteye_1365
这个作者很懒,什么都没留下…
展开
-
分布式计算开源框架Hadoop入门实践(一)
── 分布式计算开源框架Hadoop入门实践(一) 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL...原创 2012-09-23 18:09:05 · 110 阅读 · 0 评论 -
分布式计算开源框架Hadoop入门实践(二)
分布式计算开源框架Hadoop入门实践(二) 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实 也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要...原创 2012-09-24 21:52:10 · 79 阅读 · 0 评论 -
分布式计算开源框架Hadoop入门实践(三)
分布式计算开源框架Hadoop入门实践(三) Hadoop基本流程 一个图片太大了,只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。 在分布式环境中客户端创建任务并提交。 InputFormat做Map前的预处理,主要负责以下工作: 验证输入的格式是否符合J...原创 2012-09-24 21:52:39 · 75 阅读 · 0 评论