3.Hadoop环境搭建之Hadoop的安装和配置

本文用到了xshell,xftp软件用来实现window和linux之间的连接，没有的话需要自行下载。

本文演示的是Hadoop2.7.4的下载安装。安装包需要提前准备好。

三台虚拟机，主机waq,从机s1,s2.

除13，15步有需要在从机运行的步骤，其他步骤均在主机运行。

家人们，请千万要注意路径，服务器名字，根据自己的实际情况进行修改。个别需要注意的地方已经标红，其他地方也许谨慎。

1、创建hadoop安装目录

xshell上方点击“新建文件传输”

在右栏/home目录下新建一个hadoop文件夹

2、上传hadoop安装包

在左栏中找到提前准备好的hadoop压缩包

把左栏的压缩包拖到右栏

3、解压安装包

在hadoop目录下：cd /home/hadoop

解压hadoop压缩包：tar -xvf hadoop-2.7.4.tar.gz

我之前已经解压过来就不再解压了

4、配置/etc/profile

编辑文件：vim /etc/profile

在文件最后添加：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export HADOOP_HOME=/home/hadoop/hadoop-2.7.4（写自己的存放路径）

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

保存后，执行：source /etc/profile

5、配置hadoop-env.sh

到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop

修改文件：vim hadoop-env.sh

在里面添加：

export JAVA_HOME=/usr/lib/java/jdk1.8

6、配置yarn-env.sh

到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop

修改文件：vim yarn-env.sh

在里面添加：

export JAVA_HOME=/usr/lib/java/jdk1.8

7、配置core-site.xml

修改文件vim core-site.xml

添加：

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://waq:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/home/hadoop/hadoop-2.7.4/tmp</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>131702</value>

</property>

8、配置hdfs-site.xml

修改文件：vim hdfs-site.xml

添加：

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/hadoop-2.7.4/hdfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/hadoop/hadoop-2.7.4/hdfs/data</value>

</property>

<property>

        <name>dfs.replication</name>

        <value>2</value>

</property>

<property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>waq:9001</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

9、配置yarn-site.xml

修改文件：vim yarn-site.xml

添加：

<property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

</property>

<property>

   <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

   <name>yarn.resourcemanager.address</name>

   <value>waq:8032</value>

</property>

<property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>waq:8030</value>

</property>

<property>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>waq:8031</value>

</property>

<property>

   <name>yarn.resourcemanager.admin.address</name>

   <value>waq:8033</value>

</property>

<property>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>waq:8088</value>

</property>

<property>

     <name>yarn.nodemanager.resource.memory-mb</name>

     <value>1536</value>

</property>

10、配置mapred-site.xml

修改文件名：mv mapred-site.xml.template mapred-site.xml

修改文件：vim mapred-site.xml

添加：

<property>

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

</property>

<property>

      <name>mapreduce.jobhistory.address</name>

      <value>waq:10020</value>

</property>

<property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>waq:19888</value>

</property>

11、创建slaves

修改文件：vim slaves

删除里面的hostname,并添加：

s1

s2

12、创建name和data

创建目录hdfs:mkdir /home/hadoop/hadoop-2.7.4/hdfs

创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name

创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data

(已建过)

13、向从虚拟机传送hadoop文件

进入/home/目录下：cd /home/

此时在 /home/目录下,传送文件到s1和s2

scp -r hadoop root@s1:/home/

scp -r hadoop root@s2:/home/

此操作之后，要在另外两台虚拟机上，配置/etc/profile文件并source /etc/profile

s1虚拟机：

编辑文件：vim /etc/profile

在最后添加：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export HADOOP_HOME=/home/hadoop/hadoop-2.7.4

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

执行：source /etc/profile

s2虚拟机：

编辑文件：vim /etc/profile

在最后添加：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export HADOOP_HOME=/home/hadoop/hadoop-2.7.4

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

执行：source /etc/profile

14、初始化

进入hadoop-2.7.4安装目录：cd /home/hadoop/hadoop-2.7.4

初始化（只此一次，不可再初始化第二次）

hdfs namenode -format

15、启动hadoop

进入hadoop-2.7.4安装目录：cd /home/hadoop/hadoop-2.7.4

启动hadoop:./sbin/start-all.sh

测试启动:jps

16.通过web页面查看

在浏览器打开网站验证，http://自己的主机ip地址：8088，为ResourceManager的web控制台，正常情况下显示如下图：

http://自己的主机ip地址:50070 为hdfs web控制台，可以看到下图中展示了所有的datanode节点：