linux-hadoop伪分布式搭建配置core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml

配置前提

配置前提搭建好linux环境(我采用的是命令行界面) 比如

关闭防火墙systemctl stop firewalld(最好是设置开机不启动，然后检查一下状态是否被杀死)

开机不启动防火墙 systemctl disable firewalld

检查防火墙状态 systemctl status firewalld(为dead就是关闭成功了)

配置固定ip(防止ip不一致情况) 配置虚拟机映射和windows映射(方便后续连接xshell操作)，配置好java环境变量和hadoop环境变量(配置在/etc/profilie的底部 配置好后一定要刷新一下文件或者重启source /etc/profile或者reboot)

伪分布式的搭建结构(竖着看)

core-site.xml

 <!-- 指定 NameNode 的地址 --> 

 <property> 

 <name>fs.defaultFS</name> 

 <value>hdfs://hadoop102:9020</value> 

 </property> 

 <!-- 指定 hadoop 数据的存储目录 --> 

 <property> 

 <name>hadoop.tmp.dir</name> 

 <value>/opt/module/hadoop-3.1.3/data</value> 

 </property> 

hdfs-site.xml

<!-- nn web 端访问地址--> 

<property> 

 <name>dfs.namenode.http-address</name> 

 <value>hadoop102:9870</value> 

 </property> 

<!-- 2nn web 端访问地址--> 

 <property> 

 <name>dfs.namenode.secondary.http-address</name> 

 <value>hadoop104:9868</value> 

 </property> 

yarn-site.xml

<!-- 指定 MR 走 shuffle --> 

 <property> 

 <name>yarn.nodemanager.aux-services</name> 

 <value>mapreduce_shuffle</value> 

 </property> 

 <!-- 指定 ResourceManager 的地址--> 

 <property> 

 <name>yarn.resourcemanager.hostname</name> 

 <value>hadoop103</value> 

 </property> 

 <!-- 环境变量的继承 --> 

 <property> 

 <name>yarn.nodemanager.env-whitelist</name> 

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO 

NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP 

RED_HOME</value> 

 </property> 

mapred-site.xml

<!-- 指定 MapReduce 程序运行在 Yarn 上 --> 

 <property> 

 <name>mapreduce.framework.name</name> 

 <value>yarn</value> 

 </property>