hadoop学习（一）------------搭建单机本地运行环境

软件准备:

1.操作系统为ubuntu kylin 14.04 LTS  http://www.ubuntu.com/download/desktop

2.java SDK为jdk1.7.0_15  http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u72-oth-JPR

3.hadoop版本为1.2.1 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

软件安装:

1.首先在vmware中安装ubuntu操作系统

2.ubuntu默认没有设置root用户密码，所以我们先设置其密码，再使用root用户进行操作."sudo passwd root"设置root密码

3.安装java

mkdir /usr/lib/java

tar -xvf jdk-xxx.tar.gz

然后修改.bashrc文件加入java的环境变量

export JAVA_HOME=/usr/lib/java/jdk1.7.0_15

export JRE_HOME=${JAVA_HOME}/jre

export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${PATH}

3.1.source .bashrc使设置生效

3.2.java -version确认安装成功

4.安装SSH

hadoop采用SSH进行通信，此时要设置密码为空，即不需要密码登录，这样免去每次都输入密码。

一般默认都安装了SSH，如果没有安装，用apt-get install ssh命令下载安装即可。

4.1.启动SSH

service ssh start

4.2.确认SSH启动

ps -e | grep ssh

4.3.设置免密码登录，生成私钥和公钥:

ssh-keygen -t rsa -P ""

在/root/.ssh/中生成id_rsa和id_rsa.pub分别为私钥和公钥。

将公钥追加到authorized_keys中，这个文件保存的所有允许以当前用户身份登录到SSH客户端用户的公钥内容。

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

4.4 ssh localhost确认现在可以不用密码登录.

5.安装rsync

apt-get install rsync

6.安装hadoop

mkdir /usr/local/hadoop

tar -xvf hadoop-1.2.1-bin.tar.gz

6.1配置java

cd /usr/local/hadoop/hadoop-1.2.1/conf

vi hadoop-env.sh

export JAVA_HOME=/usr/lib/java/jdk1.7.0_15

source hadoop-env.sh使配置生效

6.2在root环境变量PATH中加入hadoop

vi /root/.bashrc

export JAVA_HOME=/usr/lib/java/jdk1.7.0_15

export JRE_HOME=${JAVA_HOME}/jre

export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${PATH}:/usr/local/hadoop/hadoop-1.2.1/bin

source .bashrc

6.3.hadoop version确认安装配置成功

7.运行自带的WordCount例子

cd /usr/local/hadoop/hadoop-1.2.1

mkdir input

hadoop jar hadoop-examples-1.2.1.jar wordcount input output

这个例子会运行自带的wordcount并把结果输出到output中.这个例子是统计文件中单词出现的个数。

查看运行结果 cat output/*

至此，单机模式安装配置完成。