hadoop3.x的安装与配置

说明：本文只是个人学习记录而已，绝不用于商业用途，文章参考了网上很多博主的内容，具体来源没能注明，望见谅。

背景：

系统：ubuntu16.04，下载安装地址： http://mirrors.aliyun.com/ubuntu-releases/16.04/

这里不做集群，单又想接近于分布式，因此配置伪分布式。

当然可以直接下载已经配置好hadoop环境的镜像，但是身为开发人员，怎能不动手亲自配置。

配置好hadoopde虚拟机:

一、准备

1、创建hadoop用户，hadoop专门的用户

$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell

$ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码

$ sudo adduser hadoop sudo #为hadoop用户增加管理员权限，将hadoop添加到sudo管理组

$ su hadoop #切换当前用户为用户hadoop

$ sudo apt-get update #更新hadoop用户的apt,方便后面的安装

2、安装ssh，设置ssh无密码登录

由于初学，还没搞懂这里为什么要设置ssh无密码登录，但是在生产环境应该不会这样，毕竟要考虑安全性。

$ sudo apt-get install openssh-server #安装SSH server

$ ssh localhost #登陆SSH，第一次登陆输入yes

$ exit #退出登录的ssh localhost

$ cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost

$ ssh-keygen -t rsa　 #执行这条命令后，连续按三次回车键来确认配置

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权

$ ssh localhost #检验是否配置成功，没报错则成功了

二、安装java

1、官网下载好java安装包。

ubuntu16.04安装配置JAVA可参考 https://www.cnblogs.com/freescience/p/7272070.html

三、安装hadoop

1、下载hadoop安装包，官网下载： http://www.us.apache.org/dist/hadoop/common/

$cd /usr/local #将hadoop安装包下载到这个文件夹

$sudo chmod 777 /usr/local #由于我这是新的ubuntu环境，所以需要给这个文件夹授权，才能下载写入文件

$ wget  http://www.us.apache.org/dist/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz

$ tar -zxvf hadoop-3.0.3.tar.gz  #解压文件

2、配置hadoop用户环境变量

在hadoop这个用户下执行 vsudo vi ~/.bashrc这个命令，然后在最后面添加如下内容，类似于java环境配置（hadoop-3.0.3为你自己的版本）

export HADOOP_HOME=/usr/local/hadoop-3.0.3

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完后保存退出，然后执行 source ~/.bashrc 使配置生效。

然后就是见证奇迹的时候啦，执行 hadoop version 查看hadoop是否配置成功（能看到hadoop版本号就是成功了），如下图：

三、配置伪分布式

hadoop分为本地模型、伪分布式、分布式三种模式，本地模式使用的本地文件，执行时只有一个进程。而分布式模式只有在集群环境下才能发挥作用，我这里只有一台ubuntu服务器，为了更接近实际生产环境，选择了伪分布模式。

为了方便，这里配置的几个文件直接拿出来用notepad++来修改。

1、配置/usr/local/hadoop-3.0.3/etc/hadoop/hadoop-env.sh文件(这里的路径与hadoop解压在哪个路径有关)，将java的路径配置到这里的JAVA_HOME

2、配置/usr/local/hadoop-3.0.3/etc/hadoop/core-site.xml文件，将红框部分添加进去。

<configuration>

        <property>

             <name>hadoop.tmp.dir</name>

             <value>file:/usr/local/hadoop-3.0.3/tmp</value>

             <description>Abase for other temporary directories.</description>

        </property>

        <property>

             <name>fs.defaultFS</name>

             <value>hdfs://localhost:9000</value>

        </property>

</configuration>

3、配置/usr/local/hadoop-3.0.3/etc/hadoop/ hdfs-site.xml文件,一样是将红框内容添加进入

<configuration>

    <property>

             <name>dfs.replication</name>

             <value>1</value>

        </property>

        <property>

             <name>dfs.namenode.name.dir</name>

             <value>file:/usr/local/hadoop-3.0.3/tmp/dfs/name</value>

        </property>

        <property>

             <name>dfs.datanode.data.dir</name>

             <value>file:/usr/local/hadoop-3.0.3/tmp/dfs/data</value>

        </property>

</configuration>

4、配置完后在/usr/local/hadoop-3.0.3 下执行./bin/hdfs namenode -format命令给namenode格式化。

5、启动 启动namenode和datanode进程，并查看启动结果

命令：./sbin/start-dfs.sh

6、验证hadoop分布式是否成功。

在物理机访问hadoop服务器ip:9870(这里注意下，hadoop2.x版本的端口是 50070，3.x版本之后是9870)，访问之后就可以看到如下hadoop信息啦。

到此，hadoop伪分布式就部署成功了。