初学hadoop2.7.1(一)配置单点模式

系统：ubuntu-14.04.3-desktop-amd64+mac.iso
hadoop版本： hadoop-2.7.1

jdk版本：jdk-7u79-linux-x64.tar.gz

1. 安装配置JDK

1.1） 解压jdk

sudo tar zxvf jdk-7u79-linux-x64.tar.gz -C /usr/lib/java

1.2) 修改环境变量

sudo vim /etc/profile

添加:

 #set java environment
export JAVA_HOME=/usr/lib/java/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存退出，输入以下命令使之立即生效

$ source /etc/profile

1.3) 配置默认jdk本版

$ sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.7.0_79/bin/java 300

$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.7.0_79/bin/javac 300

$ sudo update-alternatives --config java

1.4) 测试

$ java -version

输出：

java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

2. 解压hadoop-2.7.1.tar.gz

$ pwd

/home/hadoop/data

$ tar zxvf hadoop-2.7.1.tar.gz

3. 安装SSH

如果系统没有安装SSH， 则

2.1) 安装SSH

$ sudo apt-get install ssh
$ sudo apt-get install rsync
2.2) 检查SSH是否自动登录无需密码  
$ ssh localhost
2.3) 设置linux上SSH是用户可以自动登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ export HADOOP\_PREFIX=/usr/local/hadoop
4. 配置单点登录
3.1) 修改%hadoop_home%/etc/hadoop/core-site.xml如下
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
3.2) 修改%hadoop_home%/etc/hadoop/hdfs-site.xml如下
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
5. 执行本地MapReduce job
5.1)formt文件系统
$ bin/hdfs namenode -format
5.2)启动namenode和datanote守护进程
$ sbin/start-dfs.sh
5.3)打开namenode的web接口
http://localhost:50070/

6. 配置单点YARN模式

6.1) 修改%hadoop_home%/etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
6.2) 修改%hadoop_home%/etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
6.3) 启动ResourceManager和NodeManager守护进程
 $ sbin/start-yarn.sh
6.4) 打开ResourceManager的web接口
http://localhost:8088/