Hadoop四个配置文件

重装了下单机版的hadoop，基本配置文件忘了，这里记录一下免得以后总得找

core-site.xml:

<configuration>
	<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value><!-- 在这填写开启NameNode服务的服务器映射 -->
	</property>
	<!-- 指定Hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/bigdata/hadoop/hadoop-3.1.4/data/tmp</value>
	</property>
</configuration>

hdfs-site.xml:

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value><!-- 保存的副本数量，默认为3 -->
	</property>
	<property>
		<name>dfs.secondary.http.address</name>
		<value>localhost:9870</value><!-- 在这填写开启SecondaryNameNode服务的服务器映射 -->
	</property>
</configuration>

mapred-site.xml:

<configuration>
	<!-- 指定MR的运行方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>localhost:10020</value><!-- 在这填写开启HistoryServer服务的服务器映射 -->
	</property>
	<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>localhost:19888</value><!-- 在这填写开启HistoryServer服务的服务器映射 -->
	</property>
	<!-- 日志聚集功能开关 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 日志保留时间设置 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value><!-- 这里填写为7天，以秒为单位 -->
	</property>
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=/opt/bigdata/hadoop/hadoop-3.1.4</value>
	</property>
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=/opt/bigdata/hadoop/hadoop-3.1.4</value>
	</property>
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=/opt/bigdata/hadoop/hadoop-3.1.4</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
	<!-- Reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value><!-- 在这填写开启ResourceManager服务的服务器映射 -->
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>20480</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>localhost</value>
	</property>
</configuration>

注意：

hadoop-env.sh，mapred-env.sh，yarn-env.sh里也要配置下JAVA_HOME