Hadoop环境准备完成后(即centos7上配置完jdk,并且解决相关影响因素后),进行Hadoop集群环境的搭建,使用java version "1.8.0_40" , hadoop-2.7.3版本进行相关环境的配置。
关于内部配置文件出现格式错乱的可以看我博客:在centos7搭建hadoop集群二 (使用csdn编辑器有点不熟练,所以还请谅解)
[上传hadoop,并解压]
使用Xftp在 第一台台服务器 /user/local/hadoop/ 路径下上传 hadoop-2.7.3.tar.gz (没有hadoop文件夹就创建一个),之后进行解压,先 su root 使用超级用户身份,(后边的hadoop配置完后会拷贝到另外两台)
名令: tar -zxvf hadoop-2.7.3.tar.gz
解压后使用 rm -f hadoop-2.7.3.tar.gz 删除多余的安装包减少空间
[配置hosts文件]
-
查看并更改服务器用户名:
使用hostname,可以看到三台服务器都是bogon或是其他,但三台服务器名都一样,这是因为其与两台是克隆过去的,因此未来方便我们将三台服务分别命名为 Master,hadoop1,hadoop2,命名方法: vi /etc/hostname
查看ip: 名令: ifconfig
服务器名 Master hadoop1 hadoop2 ip地址 192.168.63.221 192.168.63.222 192.168.63.223 -
修改/etc/hosts文件:
文件后边添加:
192.168.63.221 Master
192.168.63.222 hadoop1
192.168.63.223 hadoop2
三台服务器都需要更改,目的是为了添加映射
-
测试,三台机子互ping:
特别说明,我们在上篇文章中三台可以互ping通的原因是三台服务器是一样的,我们更改服务器名字后,就发生了改变。因此需要为三台机子添加映射。
[配置Hadoop]
在hadoop-2.7.3目录下创建四个目录:tmp、hdfs、hdfs/data、hdfs/name
配置hadoop集群是需要在每一台服务器上都配置,这里我们只在主服务器上完成配置,配置完成之后我们将配置好的hadoop复制到其他服务器即可。
第一台服务器即 Master我们称为主服务器
配置hadoop 中的所有步骤均在主服务器上操作。
可以使用mkdir命令来创建目录。后面我们配置hadoop的时候会用到这些目录,三个目录的作用如下:
tmp目录用来存储hadoop的临时文件,