配置hadoop分布式文件管理系统

hadoop配置

1. 配置核心文件core-site.xml

   需注意tmp文件夹的位置,此处存放的是namenode的相关信息

<configuration>
	<property>
	  	<name>fs.defaultFS</name>
	  	<value>hdfs://xxx:9000</value>
	</property>
	<property>
	   <name>hadoop.tmp.dir</name>
	   <value>/opt/bigdata/hadoop260/hadoop2</value>
	</property>
	<property>
	   <name>hadoop.proxyuser.root.hosts</name>
	   <value>*</value>
	 </property>
	<property>
	   <name>hadoop.proxyuser.root.groups</name>
	   <value>*</value>
	 </property>
</configuration>

2. 配置hdfs文件hdfs-site.xml
   replication为副本分片的数量,可自定义,默认为3
   此处可以自定义secondarynamenode的地址,最好不要配在同一台机器上

<configuration>
	<property>
	  <name>dfs.replication</name>
	  <value>1</value>
	</property>
	<property>
	  <name>dfs.namenode.secondary.http-address</name>
	  <value>xxx:50090</value>
	</property>
</configuration>

3. 配置mr文件mapred-site.xml

<configuration>
	<property>
	        <name>mapreduce.framework.name</name>
	        <value>yarn</value>
	</property>
	<property>
	        <name>mapreduce.jobhistory.address</name>
	        <value>xxx:10020</value>
	</property>
	<property>
	        <name>mapreduce.jobhistory.webapp.address</name>
	        <value>xxx:19888</value>
	</property>
</configuration>

4. 配置yarn资源管理器yarn-site.xml

<configuration>
	<!-- reducer获取数据方式 -->
	<property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
	</property>
	<property>
	    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
	    <name>yarn.resourcemanager.hostname</name>
	    <value>xxx</value>
	</property>
	<!-- 日志聚集功能使用 -->
	<property>
	    <name>yarn.log-aggregation-enable</name>
	    <value>true</value>
	</property>
	<!-- 日志保留时间设置7天 -->
	<property>
	    <name>yarn.log-aggregation.retain-seconds</name>
	    <value>604800</value>
	</property>
</configuration>

5. 配置集群节点slaves
6. 配置hadoop-env.sh,添加JAVA_HOME
7. 配置profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin