第一步、下载hadoop到本地
下载地址:http://hadoop.apache.org/releases.html
下载后,如下:
下载完成后,通过WinScp将其上传到linux中的/usr/local/hadoop目录下
将hadoop.gz包进行解压,命令如下:
tar -zxvf hadoop.gz
解压后,通过ls命令查看/usr/local/hadoop目录下是否存在解压包
然后删除hadoop.gz,使用命令rm -rf hadoop.gz,如下:
第二步、配置host文件
目的是:使对应的主机名能够连接对应的地址,hosts文件主要用于确定每个节点的ip地址
命令:vi /etc/hosts,修改内容如下:
自己的ip地址 slave2
第三步、配置启动hadoop
1、修改hadoop-2.9.1/etc/hadoop/hadoop-env.sh指定JAVA_HOME(我的JAVA_HOME路径为/usr/java/jdk1.8.0_131)
2、修改hadoop-2.9.1/etc/hadoop/core-site.xml,内容如下:
命令如下:
<configuration>
<!--指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFs</name>
<value>hdfs://slave2:9000</value>
</property>
<!--指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-2.9.1/tmp</value>
</property>
</configuration>
3、配置ssh免密码登录
配置前,需要输入密码,如下
配置方法如下:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
配置完成后,再次输入ssh localhost,结果显示如下:
从图中可以看到,此处没有提示要我们再次输入密码
4、hdfs启动
第一次启动必须先格式化(最好不要复制)
进入到hadoop安装目录的bin目录下,然后执行./bin/hdfs namenode -format
2)、启动hdfs,执行./sbin/start-dfs.sh
结果显示,dfs.namenode.rpc-address没有配置,需要在hadoop-2.9.1/etc/hadoop/hdfs-site.xml中新增如下配置
<configuration>
<property>
<name>dfs.namenode.rpc-address</name>
<value>此处为自己ip地址:8080</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
再次执行
输入jps,显示如下:
证明hadoop单机换机搭建成功。
输入ip地址进行访问,显示如下: