搭建hadoop集群有三种形式。https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
按照官网,伪分布式的就可以整完的。
现在进行的是全分布式环境搭建https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
其实hadoop已经安装好了,接着就是配置hadoop文件。
先配置第一个:
告诉Java的安装目录在哪里,也就是jdk ,其他各个主机也是一样。
可以看看官网https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
再配置第二个
格式要注意
再配置第三个
接着配置
再配置第四个,因为没有mapred-site.xml这个文件,但是有一个template,所以可以拷贝这个进行修改内容
然后在对其进行编辑
将内容复制进去, 修改完保存退出
再配置第五个文件,
还有最后一个配置文件
再配置第六个文件, 老大找到小弟就靠这个文件了
所以将老大和小弟都配置上
配置完后,就可以进行分发到别的服务器上
如果一开始装有hadoop的,则先将其删除, rm -rf /对应目录下的hadoop
然后再进行拷贝分发,输入命令 :
然后可以通过输入命令witch进行看时候拷贝过去了。
拷贝完后,就可以启动集群了。
但是启动之前,还需要做的是,先格式化NameNode这台服务器上先格式化
格式化之后,就会有
再从新打开一个窗口,就可以看到 多了一个hadoopData
一路看下去就可以看到里面的元数据了
格式化完了之后,就可以启动服务了。