Ubuntu下hadoop的安装与简单应用

1. 安装jdk和ssh

1.1 下载jdk

jdk下载地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html

1.2 安装jdk

下载jdk完成后，将其解压在以下目录：

1.3 设置环境变量

在/etc/profile中添加如下环境变量：

保存后执行如下命令，验证java，可以看到，jdk已经安装成功：

source /etc/profile

1.4 安装并运行ssh

sudo apt-get install openssh-server

启动ssh

sudo service ssh start

详细的安装和配置ssh过程，请看此篇

2. 安装hadoop

2.1 下载hadoop

hadoop下载地址：http://apache.communilink.net/hadoop/common/

2.2 安装hadoop

下载hadoop完成后，将其解压在如下目录：

2.3 配置环境变量

在/etc/profile中添加如下环境变量：

设置好路径后，使用如下命令使之生效：

source /etc/profile

2.4 配置文件hadoop-env.sh

修改/usr/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh文件，在export JAVA_HOME=${JAVA_HOME}行前面插入如下内容：

export JAVA_HOME=/usr/java/jdk/jdk-14.0.1
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.7/etc/hadoop

3. 配置伪分布式

在/usr/hadoop/hadoop-2.7.7目录下新建一个temp的文件夹：

以下配置文件均在/usr/hadoop/hadoop-2.7.7/etc/hadoop/目录下。

3.1 配置 core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.7/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.2 配置 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.7/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.7.7/tmp/dfs/data</value>
    </property>
</configuration>

关于Hadoop配置项的一点说明：
虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行，不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

3.3 配置 yarn-site.xml

<configuration>
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

3.4 配置mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
 <name>mapred.job.tracker</name>
 <value>localhost:9001</value>
 </property>
</configuration>

3.5 执行格式化

hdfs namenode -format

完成后是这样的界面：

3.6 启动 hadoop

在/usr/hadoop/hadoop-2.7.2/sbin目录下使用如下命令：

./start-all.sh

在浏览器中输入地址http://localhost:8088/，查看Hadoop 管理介面：

在浏览器中输入地址http://localhost:50070/，查看 Hadoop DFS 状态：