hadoop环境安装之单机模式

 

1.下载hadoop安装包

   wget http://apache.etoak.com//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

 

2.解压

   tar zxvf  hadoop-0.20.203.0rc1.tar.gz

 

3.设置环境变量

   将解压出来的hadoop目录export到环境变量中

 

4.在hadoop环境变量中设置JAVA_HOME

   vi hadoop-env.sh中写入

    export JAVA_HOME=/home/ymkyve/ytool/jdk1.6.0_24

 

5.安装ssh 及设置自动登录

   $ sudo apt-get install ssh

 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
 $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 $ ssh localhost   不需要输密码就可以了

单机模式就可以了,在hadoop安装目录下执行这些命令看看效果就可以了

$ mkdir input  
$ cp conf/*.xml input  
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

 

在单机模式下只要修改hadoop脚本就可以debug了

elif [ "$COMMAND" = "jar" ] ; then
  CLASS=org.apache.hadoop.util.RunJar
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8787,server=y,suspend=y"

加上这段

 

input/test.txt

aa
b
a
b
d
c

执行go.sh脚本即可 

rm -rf output
hadoop jar hadoop-test.jar input output

查看output的结果

#vi part-r-00000

a       1
aa      1
b       2
c       1
d       1