![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 83
iteye_7298
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建(一)——单机版配置
这个寒假和团队一起历经千辛万苦,从一开始的迷茫,然后慢慢的摸索终于完成了我们的集群搭建,成功建立起一个小小的云端。 单机版hadoop的配置; 九死一生,完成hadoop的配置 在开始搭建集群之前我先开始配置单机版的hadoop,说起来真是足够的苦逼啊!虽然最后完成了配置但是这个过程中除了Ubuntu没有被卸载掉重装意外其他的从jdk到...原创 2012-01-21 17:24:59 · 123 阅读 · 0 评论 -
hadoop集群搭建(二)——集群环境配置
团队力量让我们站在云端! 真的感觉团队的力量太强大了,整个集群配置能够顺利进行,完全是靠大家合作才能完成。我们确实有很多不明白的地方,但是我们的每一个人都敢于探索,敢于去实践,敢于去做各种尝试,最终的结果就是我们克服了各种困难完成了云端的搭建! 好了进入正题,假设每台机器都按照前一篇所属配置好了hadoop环境,那么接下来开始配置集群环境。 集群配置分为以下几个步...原创 2012-01-31 20:46:38 · 100 阅读 · 0 评论 -
hadoop实现简单的倒排索引
最近在学习hadoop编程,在大概理解了wordcount之后又接触了一个叫倒排索引的东东,所以就用它来练练手吧! 首先介绍一下什么是倒牌索引!(以下请参考各种百科). 倒排索引,索引对象是文档或者文档集合中的单词等,用来存储这些单词在一个文档或者一组文档中的存储位置,是对文档或者文档集合的一种最常用的索引机制。由于不是根据文档所包含的内容,而...原创 2012-02-07 22:57:36 · 361 阅读 · 0 评论 -
Hadoop作业提交终极解决
最近几天一直在纠结hadoop作业提交的问题,对于命令行提交作业以及在集群中提交作业这里不再赘述,不会就去Google吧! 我们在客户机提交作业的时候总是发现出错,eclipse总是报jar file not found 的错误!我们知道客户端提交任务的时候,使用方法job.setWaitForCompletion(true)的时候,这个方法会调用job的submit()方法...原创 2012-02-10 00:06:58 · 306 阅读 · 0 评论 -
hadoop学习笔记(一)——hadoop运行源代码分析
Hadoop运行流程分析源代码级 前言: 最近一直在分析hadoop的运行流程,我们查阅了大量的资料,虽然从感性上对这个流程有了一个认识但是我总是感觉对mapreduce的运行还是没有一个全面的认识,所以决定从源代码级别对mapreduce的运行流程做一个分析。 前奏: 首先从任务提交开始,如果我们使用的是job类的话那么提交任务的触发语句是 ...原创 2012-02-11 01:20:11 · 102 阅读 · 0 评论 -
hadoop学习笔记(二)——RPC代理机制解析
RPC/代理机制分析 在hadoop的通信机制中不得不提到rpc通信机制,Client与namenode,namenode与datanode,datanode之间很多通信都是基于rpc机制。 提到RPC机制,其实根据我的理解,他就是一种代理,只不过它和我们平常的代理不同的地方是它是一种远程代理!首先介绍一下代理机制! 一、代理机制 提到代理机制又不得不提到Java中的一个...原创 2012-02-13 21:53:34 · 126 阅读 · 0 评论 -
hadoop学习笔记(三)——MapTask和ReduceTask
MapTask和ReduceTask 我们知道每一个Task都对应着一个jvm的执行,但是每一个Task都是在Child进程中执行的!我们来看一下Child类的主方法(源代码) public static void main(String[] args) throws Throwable { LOG.debug("Child starting"); final Jo...原创 2012-02-17 02:40:34 · 299 阅读 · 0 评论