Hadoop四个配置文件

最新推荐文章于 2024-08-29 22:46:51 发布

多喝烫水啊

最新推荐文章于 2024-08-29 22:46:51 发布

阅读量2.2k

点赞数 1

文章标签： hadoop big data

本文链接：https://blog.csdn.net/ayohe/article/details/120024493

版权

Hadoop四个配置文件

1.core-site.xml

<configuration>
	<!--配置namenode的地址 -->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.174.180:9820</value>
	</property>
	<!--配置数据存储目录-->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-313/data</value>
	</property>
		
			
	<!--配置HDFS网页登录使用的静态用户为root-->		
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>		
	
	<!--配置root(超级用户)允许通过代理访问的主机节点-->		
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>	
	
	<!--配置root(超级用户)允许通过代理用户所属组-->		
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>	
			
	<!--配置root(超级用户)允许通过代理的用户-->		
	<property>
		<name>hadoop.proxyuser.root.user</name>
		<value>*</value>
	</property>		
</configuration>

2.hdfs -site.xml

<configuration>
<!--配置namenode web访问地址-->		
	<property>
		<name>dfs.namenode.http-address</name>
		<value>192.168.174.180:9870</value>
	</property>	
<!--配置secondary namenode web访问地址-->		
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>192.168.174.180:9868</value>
	</property>
<!--配置hdfs副本数量-->		
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>		
</configuration>

3.yarn-site.xml

<configuration>
<!--配置mr的执行方式-->		
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>	
<!--配置ResourceManager地址-->		
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>singlehenry</value>
	</property>
<!--配置环境变量的继承-->		
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,
		HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>		
<!--配置yarn容器允许分配的最小内存-->		
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>512</value>
	</property>
<!--配置yarn容器允许分配的最大内存-->		
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>1536</value>
	</property>	
<!--配置yarn容器允许管理的物理内存大小-->		
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>1536</value>
	</property>
<!--配置关闭yarn对物理内存和虚拟内存的限制检查，
	jdk8运行于centos6以上版本会导致虚拟内存过大-->		
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>	
<!--配置关闭yarn对物理内存和虚拟内存的限制检查-->		
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>	
<!--开启日志聚集-->		
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>	
<!--配置日志聚集服务器地址-->		
	<property>
		<name>yarn.log.server.url</name>
		<value>http://192.168.174.180:19888/jobhistory/logs</value>
	</property>			
<!--配置日志保留时间为7天-->		
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>		
</configuration>

4.mapred-site.xml

<configuration>
<!--配置mapreduce运行于yarn上：默认为local，也可以指定spark阶段了解的mesos-->		
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>	
<!--配置历史服务器地址-->		
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.174.180:10020</value>
	</property>
<!--配置历史服务器web端地址-->		
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.174.180:19888</value>
	</property>		
</configuration>