[Hadoop]六、hadoop单节点调试环境配置

core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.3.6/tmp</value>
</property>

<property>
<name>hadoop.http.staticuser.user</name>
<value>seven</value>
</property>

hdfs-site.xml

<property>
<name>dfs.namenode.http-address</name>
<value>localhost:9870</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!-- NameNode 数据存储目录,默认:file://${hadoop.tmp.dir}/dfs/name -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/module/hadoop-3.3.6/data/nn</value>
</property>
 
<!-- DataNode 数据存储目录,默认:file://${hadoop.tmp.dir}/dfs/data -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/module/hadoop-3.3.6/data/dn</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>


<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://localhost:19888/jobhistory/logs</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>

出现以上问题需要配置ssh 免密登录，且如果是root用户，必须要配置root用户可以使用ssh登录：

/etc/ssh/sshd_config

添加：PermitRootLogin yes

hadoop-env.sh 添加配置：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/opt/module/jdk1.8.0_371

启动历史服务器命令：

/opt/module/hadoop-3.3.6/bin/mapred --daemon start historyserver

如果fs.defaultFS里面没有配置localhost 而是用的IP地址，那么其他地方的配置也要用IP地址。