蚂蚁先锋队的博客

1、安装ssh sudo apt-get ssh install 2、生成密钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 3、将公钥放入认证文件 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 4、修改文件权限 sudo chmod 700 ~/.ssh sudo chmod 600 ~/.

//从job提交开始 job.waitForCompletion(true);  waitForCompletion分析： /** * 提交代码到集群并返回结果 * @param verbose 是否打印过程信息 * @return true 成功返回true * @throws IOException thrown if the communication with the

下面简单介绍MRUnit的使用方法 1、下载 http://archive.apache.org/dist/mrunit/mrunit-1.0.0/ 本人下载：apache-mrunit-1.0.0-hadoop2-bin.tar.gz 2、安装 tar -axvf apache-mrunit-1.0.0-hadoop2-bin.tar.gz -C 指定的路径 将lib下除了commo

1、集群搭建策略 主机名 IP 安装的软件              运行的进程 master 192.168.0.7 jdk、hadoop              NameNode、DFSZKFailoverController master2 192.168.0.10         jdk、hadoop      NameNode、DFSZKFailoverContro

准备工作：         JDK1.8.x hadoop2.7.2 eclipse 虚拟机：Ubuntu14.04               master:namenode、secondaryNamenode               slave1:datanode               slave2:datanode               slave3:d

1、util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 环境变量配置出错 .bashrc末尾添加 export JAVA_HOME=/home/will/jdk/jdk1.8 export HA

配置好eclipse+hadoop开发环境后，接下来建立Map/Reduce工程,以wordCount为例 功能：统计文件中每个单词出现的次数并输出到指定的文件中 1、建立工程 在ubuntu中开启eclipse（eclipse中配置hadoop请参考 http://blog.csdn.net/baidu_26611019/article/details/72848533） file->

1、参看linux位数 getconf LONG_BIT 2、安装hadoop 我在ubuntu虚拟机上安装的hadoop，通过文件共享的方式将hadoop解压到虚拟机中的目录 /solf/hadoop/ 并将hadoop配置成伪分布模式（请查看我的另一篇博文"配置hadoop伪分布模式“ http://blog.csdn.net/baidu_26611019/article/

1、安装JDK 建议使用JDK1.8版本 2、安装hadoop hadoop-2.7.2.tar.gz 我在ubuntu虚拟机上安装的hadoop，通过文件共享的方式将hadoop解压到虚拟机中的目录 /solf/hadoop/ 3、配置环境变量 配置环境变量可以选择如下三个文件 (1)主目录下 ~/.bashrc  指令 sudo gedit ~/.bashrc  配置如下：

hadoop权威指南第8章第2小结介绍了通过MR求最大气温的例子。 我做了简单修改后代码如下： 输入 1995 10 1996 10 1995 5 1999 20 1999 10 1996 3 期望输出： 1995 10 1996 10 1999 20 //自定义类InitPair public class InitPair implements Writabl