hadoop2.9.1之集群搭建（单机）

第一步、下载hadoop到本地

下载地址：http://hadoop.apache.org/releases.html

下载后,如下：

下载完成后,通过WinScp将其上传到linux中的/usr/local/hadoop目录下

 

将hadoop.gz包进行解压,命令如下：

tar -zxvf hadoop.gz

解压后,通过ls命令查看/usr/local/hadoop目录下是否存在解压包

然后删除hadoop.gz,使用命令rm -rf hadoop.gz，如下：

第二步、配置host文件

目的是：使对应的主机名能够连接对应的地址,hosts文件主要用于确定每个节点的ip地址

命令：vi /etc/hosts，修改内容如下：

自己的ip地址 slave2

第三步、配置启动hadoop

1、修改hadoop-2.9.1/etc/hadoop/hadoop-env.sh指定JAVA_HOME（我的JAVA_HOME路径为/usr/java/jdk1.8.0_131）

2、修改hadoop-2.9.1/etc/hadoop/core-site.xml，内容如下：

命令如下：

<configuration>
        <!--指定HDFS老大(namenode)的通信地址  -->
        <property>
                <name>fs.defaultFs</name>
                <value>hdfs://slave2:9000</value>
        </property>
        <!--指定hadoop运行时产生文件的存储路径  -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/hadoop-2.9.1/tmp</value>
        </property>
</configuration>

3、配置ssh免密码登录

配置前,需要输入密码,如下

配置方法如下：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

配置完成后,再次输入ssh localhost，结果显示如下：

从图中可以看到,此处没有提示要我们再次输入密码

4、hdfs启动

第一次启动必须先格式化(最好不要复制)

进入到hadoop安装目录的bin目录下，然后执行./bin/hdfs namenode -format

2）、启动hdfs，执行./sbin/start-dfs.sh

结果显示,dfs.namenode.rpc-address没有配置,需要在hadoop-2.9.1/etc/hadoop/hdfs-site.xml中新增如下配置

<configuration>
        <property>
                <name>dfs.namenode.rpc-address</name>
                <value>此处为自己ip地址:8080</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

再次执行

输入jps，显示如下：

证明hadoop单机换机搭建成功。

输入ip地址进行访问,显示如下：