hadoop 安装_零基础入门hadoop大数据五——单机版hadoop安装

~~~~~~~~~~~~~~~终于更新啦~~~~~~~~~~~~~~~~~~~~

一、本章节完成内容（本章节的内容非常简单）

1、hadoop单机版安装

2、hadoop程序测试（使用官方的grep）

二、hadoop单机版安装

上一章节我们已经完成了jdk环境安装，因此我们可以直接进行hadoop安装。Linux环境下的hadoop安装很简单，总体分为两步：安装包解压=>配置环境变量即可，是不是非常简单。

PS：如果大家英文过关的，可以去读一下官网的原文安装教程，顺便理解一下原理，网址为：https://hadoop.apache.org/docs/r2.7.3/https://hadoop.apache.org/docs/r2.7.3/

里面有单机版、伪分布式、完全分布式的安装方法，安装顺序和本文差不多，不过我做了适当调整，方便大家理解，大家也可以完全按照官网原文进行安装。开始安装：

1.首先去到我们保存hadoop安装包的路径：cd /opt/modules

2.使用tar命令解压hadoop安装包到 /opt/software 路径下（这个路径可自己定，不过初次我建议你参照我的路径，方便后面所有搭建步骤理解，熟悉以后自己再自行更换目录进行练习）： tar -zxvf hadoop-2.7.3.tar.gz -C /opt/software/。

解压完后，去查看下software目录下是否已经有hadoop的安装包：

其实，到这一步hadoop已经安装完成。配置环境变量是为了希望可以在linux全局使用。如果不配置环境变量，也是可以使用hadoop的了，只是需要在hadoop这个解压包下面的bin目录里面使用hadoop命令，如bin/hadoop（官网原文教程是没有配合环境变量这步的，直接使用bin/hadoop）。

3.配置hadoop环境变量

还记得之前说java的环境变量在哪里配置的吗？是在/etc目录下面的profile文件，配置环境变量的作用是方便在全局都可以使用命令

sudo vi /etc/profile

把hadoop的bin目录添加的环境变量中，具体方法如下：

#HADOOP_HOME

export HADOOP_HOME=/opt/software/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin

保存退出，并初始化profile文件：source /etc/profile

三、hadoop的简单调试验证

配好环境变量好，hadoop的单机版就已经完成了，可以在系统上随便一个目录下输入hadoop以及hadoop version命令，测试一下是否正常，如果出现以下界面就说明单机版的hadoop已经安装成功，是不是很简单~~

官方grep测试：

接下来我们就参考官方安装文档里面的grep例子进行简单测试

步骤如下：

a.在hadoop的安装目录下创建input目录，我这里是/opt/software/hadoop-2.7.3：

mkdir input

b.把etc/hadoop目录下xml结尾的文件全部拷贝到input目录下面：

cp etc/hadoop/*.xml input

c.使用官方事先开发好的程序对input目录下面所有文件进行检索，把包含dfs开头的单词检索出来，并把结果存放在output目录下，请注意，这里的output目录执行这条命令时会自动创建，不需要手动创建

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'

d.查看output目录下的文件内容，结果如下：

cat output/*

注意：输入jar命令后，可能程序会报部分错误，呼略就好，因为有写东西还没完全配好，后面会完善，只需要看结果是否一致，如果一致，说明安装正常。

四、本章节内容回顾

本章节的内容非常简单，解压压缩包，配置环境变量，使用hadoop命令测试安装是否正常，然后使用官方的grep例子去尝试使用了一下hadoop。这只是单机版安装，所以简单。

下章节，我们将在单机版的基础上配置成伪分布式hadoop集群。另外，提前说一下，完全分布式的搭建也是在伪分布式的搭建基础上完成的，所以如果一步步掌握之后，搭建个几百条服务器的hadoop集群不在话下~