coder
我不是coder
非典程序员
展开
-
关于在hadoop上job运行的几种方式(不同平台)
mr job的几种运行模式1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner这种方式会将这个job提交到yarn集群上去运行2、在Linux的eclipse中直接启动Runne转载 2017-12-19 22:47:04 · 987 阅读 · 0 评论 -
hadoop MapReduce 详解
首先强调一下,本文是以hadoop 1.x版本为基础整理完成的。在hadoop中,每个MapReduce任务都被初始化成为一个Job,每一个Job都可以分成两个阶段:Map阶段以及Reduce阶段。Map阶段会接受一个的输入,产生一个的中间输出,hadoop会把这些key相同的value集合到一起传给reduce函数,reduce会接受一个的输入,处理后输出一个。这里,我们从HDF原创 2018-01-17 14:23:09 · 517 阅读 · 0 评论 -
hadoop 2.2.0 集群搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将编译好的64位的也上传到群共享里了,如果有兴趣的原创 2018-01-17 16:44:11 · 189 阅读 · 0 评论