Ubuntu11.10下安装和配置hadoop2.20（单机模式）

1.添加hadoop用户到系统用户

安装前要做一件事——添加一个名为hadoop到系统用户，专门用来做Hadoop测试。

[html]  view plain copy

1. ~$ sudo addgroup hadoop  
2. ~$ sudo adduser --ingroup hadoop hadoop  

现在只是添加了一个用户hadoop，它并不具备管理员权限，因此我们需要将用户hadoop添加到管理员组：

[html]  view plain copy

1. ~$ sudo usermod -aG admin hadoop  

2.安装ssh

由于Hadoop用ssh通信，先安装ssh

[html]  view plain copy

1. ~$ sudo apt-get install openssh-server  

ssh安装完成以后，先启动服务：

[html]  view plain copy

1. ~$ sudo /etc/init.d/ssh start   

启动后，可以通过如下命令查看服务是否正确启动：

[html]  view plain copy

1. ~$ ps -e | grep ssh  

作为一个安全通信协议，使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：

[html]  view plain copy

1. hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""  

因为我已有私钥，所以会提示是否覆盖当前私钥。第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：

[html]  view plain copy

1. ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

现在可以登入ssh确认以后登录时不用输入密码：

[html]  view plain copy

1. ~$ ssh localhost  

登出：

[html]  view plain copy

1. ~$ exit  

第二次登录：

[html]  view plain copy

1. ~$ ssh localhost  

登出：

[html]  view plain copy

1. ~$ exit  

这样以后登录就不用输入密码了。

3.安装Java并设置环境变量

[html]  view plain copy

1. ~$ sudo apt-get install openjdk-6-jdk  
2. ~$ java -version  
3. ~$ vim /etc/profile

向其中添加如下代码并保存

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

并且，让环境变量配置生效source

[html]  view plain copy

1. ~$ source /etc/profile

4.安装hadoop并设置环境变量

下载hadoop2.0并解压到/usr/local/，目录下，依照第三步将hadoop的路径配置到环境变量中

            export HADOOP_HOME=/usr/local/hadoop
            export PATH=$PATH:/usr/local/hadoop/bin

让环境变量配置生效source

[html]  view plain copy

1. ~$ source /etc/profile

配置完成

5.测试hadoop

切换到该安装目录下，建立要上传到hadoop的两个文件 test1.txt、test2.txt

mkdir input

cd input

echo "hello world" > test1.txt

echo "hello hadoop" > test2.txt

cd ..

运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

$bin/hadoop jar /usr/local/hadoop-2.2.0-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0-alpha.jar wordcount input output

查看结果

$cat output/*

hadoop 1

hello 2

world 1

OK，Hadoop单机模式就OK了