虚拟机搭建hadoop伪分布式

1.跳转到hadoop配置文件夹下

[root@jl ~]# cd /opt/hadoop-2.7.3/etc/hadoop/

2.修改hadoop配置文件

[root@jl hadoop]# vi hadoop-env.sh   //修改hadoop配置文件命令
 
export JAVA_HOME=/opt/jdk1.8.0_162    //修改内容为jdk安装路径

[root@jl hadoop]# vi core-site.xml    //修改hadoop通用模块文件命令

这里第一个value值填写自己的主机名，小编为jlsf1,大家换成自己的即可

第二个value值填写自己实际的Hadoop路径

[root@jl hadoop]# vi hdfs-site.xml   //修改hdfs配置命令

此处value代表伪分布式默认备份块为1

[root@jl hadoop]# cp mapred-site.xml.template mapred-site.xml  //修改文件名
[root@jl hadoop]#  vi mapred-site.xml  //修改hadoop的mapreduce文件

[root@jl hadoop]# vi yarn-site.xml  //修改yarn集群框架配置

 

[root@jl hadoop]# vi slaves  

jl  //修改内容为自己的主机名

3.重新格式化namenode

[root@jl hadoop]# hadoop namenode -format

4.启动集群进行测试

[root@jl hadoop]# hadoop-daemon.sh start namenode

[root@jl hadoop]# hadoop-daemon.sh start secondarynamenode

[root@jl hadoop]# hadoop-daemon.sh start datanode

[root@jl hadoop]# yarn-daemon.sh start resourcemanager

[root@jl hadoop]# yarn-daemon.sh start nodemanager

5.测试

[root@jl hadoop]# jps

 到此我们的伪分布式就搭建好了，但过程难免会出现一些问题，小编总结如下：

 1.若格式化namenode时或启动namenode等守护进程时有问题，可尝试先删除tmp目录 ，        需要小伙伴们仔细检查置文件是否修改正确，然后重新格式化namenode

 2.安装虚拟机时没有虚拟网卡