![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop相关
linkedGraph
https://github.com/linkedGraph
展开
-
hadoop连接eclipse,Ubuntu
环境:hadoop1.1.2 eclipse Ubuntu 0 没有手动编译jar包,上网下的,可以使用 PS 编译jar包 可以参考http://my.oschina.net/vigiles/blog/132238 1 把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。 3、打开Eclipse window原创 2014-04-01 21:52:47 · 731 阅读 · 0 评论 -
MapReduce的工作机制
最近开始学习Hadoop和Hbase的相关内容,把自己在看的《Hadoop:The Definitive Guide》里的内容总结一下,有助于理解,也就是温故而知新了。首先是了解Hadoop中的MapReduce工作机制。MapReduce作业的运行过程如图6-1所示。包含4个独立的实体: (1)Client:提交MapReduce作业, (2)JobTracker:协调作业的运行。转载 2013-05-05 14:28:24 · 867 阅读 · 0 评论 -
hadoop源码分析系列之(一)——org.apache.hadoop.conf包
首先分析org.apache.hadoop.conf包,顾名思义这个包的作用是为了读取集群的配置信息,包的类图如下: Configurable接口定义了设置配置信息的方法: void setConf(Configuration conf); 获取配置信息的方法: Configuration getConf(); Configured类实现了Configurable接口,也就是必转载 2013-05-05 14:17:50 · 724 阅读 · 0 评论 -
Hadoop源代码分析(一)
Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:http://labs.google.com/papers/chubby.html GFS:http://labs.google.c转载 2013-05-05 14:14:54 · 747 阅读 · 0 评论