hadoop
kopshome
这个人,有点儿懒
展开
-
Eclipse连接hadoop集群配置,亲测有效!
1、先初步进行的简单配置,配置起来很简单,原料:eeclipse+windows7+远程hadoop集群+hadoop-eclipse-plugin-2.6.0.jar插件,本人hadoop集群为2.6.0,您可以根据自己实际版本选择插件,这个版本插件下载地址https://yunpan.cn/cqgz5p8punstn 访问密码 54692、讲插件放入eclipse的plugins目录下,重启原创 2016-03-26 18:28:42 · 802 阅读 · 0 评论 -
hadoop源代码分析(一)从wordCount开始,剖析mapreduce的运行机制
hadoop初学者有很多疑问,一个MR作业,从初始任务提交,到作业开始初始化,到作业运行,究竟是从何处开始的?整个作业是如何执行的?现有的书籍,大部分是分模块化进行源代码分析,这样会使初学者陷入一点迷茫,找不到思路,希望此处的文章,对您有所帮助,作者水平有限,希望大神能够批评指正!1、提交mapreduce作业,执行命令:原创 2016-03-27 13:15:15 · 836 阅读 · 0 评论 -
hadoop源代码分析(二)从wordCount开始,剖析mapreduce的运行机制
在上一篇文章中,只是简单介绍了Mapreduce作业,从执行hadoop jar test.jar 的shell命令,到是如何被加载并找到主类的。那么,从这个文章开始,研究从mapreduce的main方法开始,如何一步步提交、运行mapreduce作业的,此处会涉及到yarn相关知识。编写的mapreduce程序的main方法如下,(map,reduce阶段代码很简单,就不贴上浪费CSDN的原创 2016-03-27 16:27:24 · 878 阅读 · 0 评论