hadoop 备忘

在linux下安装单机版的hadoop，版本为：hadoop-0.20.203.0 ,这个格外要注意。安装目录在我的个人用户下的hadoop文件。

根据jdk的版本将其设置改为：export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk

其它的一些文件设置参考网上的一些即可。http://www.cnblogs.com/maczpc/archive/2010/01/17/1650191.html，这里有详细的说明和图版。在配置和运行过程中一定要注意，文件访问的路径，大部分是相对路径，所以需要首先将路径切入到hadoop文件下，在hadoop的安装文件下再进行文件配置和调用。

单机版的hadoop安装完成后，实现了自带的example的运行。

参考：http://bbs.flatws.cn/viewthread.php?tid=10968

系统环境：

Linux 10-2-5-234 2.6.9-67.ELsmp #1 SMP Wed Nov 7 13:56:44 EST 2007 x86_64 x86_64 x86_64 GNU/Linux
Red Hat Enterprise Linux AS release 4 (Nahant Update 6)
jdk-6uxx-linux-i586  
Apache Ant version 1.7.0 compiled on December 13 2006
Hadoop-0.20.1
1)     Java环境的安装与配置

从java.sun.com下载jdk-6uxx-linux-i586.bin。

解压java



设置环境变量



在profile 文件中加入：

$export PATH=/root/jdk1.6.0_14/bin:$PATH

$export JAVA_HOME=/root/jdk1.6.0_14
执行下面命令，让环境变量生效



测试java是否安装成功



看到以上信息证明你的java >已经安装成功

2)    安装Hadoop

从hadoop官网下载hadoop-0.20.1.tar.gz



在hadoop-env.sh 中添加export JAVA_HOME=/root/jdk1.6.0_14

测试hadoop是否安装成功



3)      配置单机环境下的hadoop

a) 编辑配置文件







b) 设置ssh为不需要手动输入密码的方式登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
c)格式化一个新的分布式文件系统



$ cd hadoop-0.20.1

$ bin/hadoop namenode –format




d)启动 hadoop 进程。控制台上的输出信息应该显示启动了 namenode, datanode, secondary namenode, jobtracker, tasktracker。启动完成之后，通过 ps –ef 应该可以看到启动了5个新的 java 进程

$ bin/start-all.sh$ ps –ef
e)运行 wordcount 应用
$ cd hadoop-0.20.1$ mkdir test-txt$ cd test-txt
#在 test-txt 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数
$ echo "hello world, bye , world." >file1.txt  

$ echo "hello hadoop, goodbye , hadoop" >file2.txt

$ cd ..

$ bin/hadoop dfs -put ./test-txt input
#将本地文件系统上的./test-txt目录拷到 HDFS 的根目录上，目录名改为 input
#执行 bin/hadoop dfs –help 可以学习各种 HDFS 命令的使用。
$ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount input output
#查看执行结果:
#将文件从 HDFS 拷到本地文件系统中再查看：
$ bin/hadoop dfs -get output output $ cat output/*
#也可以直接查看
$ bin/hadoop dfs -cat output/*$ bin/stop-all.sh #停止hadoop进程  
f)运行效果