在Linux上安装与配置Hadoop

1、安装JDK

我的虚拟机版本是centos-release-6-8.el6.centos.12.3.x86_64，在使用

yum search java|grep jdk

和

yum install java-1.8.0-openjdk

后发现没有javac命令。于是又使用

rpm -qa | grep java

查询已安装的JDK，再用

rpm -e --nodeps jdk相关名称

进行了卸载，最后通过源码安装的方式进行了安装。

jdk下载链接：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。下载后在服务器新建目录:

mkdir /usr/java

将下载的文件放到此目录下，解压。设置环境变量：

vim /etc/profile

在profile中添加如下内容：

#set java environment 
JAVA_HOME=/usr/java/jdk1.8.0_121 
JRE_HOME=/usr/java/jdk1.8.0_121/jre 
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 
export JAVA_HOME JRE_HOME CLASS_PATH PATH

让配置生效：

source /etc/profile

2、安装ssh

我的虚拟机上已经安装过了，所以跳过了这步。具体操作请参考http://www.cnblogs.com/eastson/archive/2012/06/29/2570163.html。

ssh配置无密码登录本机：假设用户名为user，输入命令

ls -a /home/user

看下有没有.ssh文件夹，如果没有就手动创建一个。接下来输入命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

，然后输入

cat ~/.ssh/id_dsa.pub >> ./ssh/authorized_keys

免密码登录配置完毕，可用

ssh localhost

进行测试（第一次会有提醒，直接输入yes）

3、安装Hadoop

从http://hadoop.apache.org/releases.html下载最新的稳定版本，解压到/home/[你的用户名]目录下

4、伪分布式配置

修改etc/hadoop/hadoop-env.sh（这个千万别忘了，不然运行会报错）

export JAVA_HOME="JDK安装地址"

修改etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5、启动

启动集群：

sbin/start-dfs.sh

启动后访问http://localhost:50070查看web页面，显示如下：

启动yarn：

sbin/start-yarn.sh

启动后访问http://localhost:8088查看web页面，显示如下：