Hadoop学习笔记（十二）---hadoop配置文件详解

关于conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml的配置作如下说明：

conf/core-site.xml配置如下：

fs.default.name : NameNode的ip地址及其端口 

hadoop.tmp.dir : 指定临时文件的目录

---

conf/hdfs-site.xml配置如下:

dfs.replication : 备份数据的数量，默认是3，也就是会有三份数据

dfs.name.dir : NameNode存储名字空间及汇报日志的位置

dfs.data.dir : DataNode存储数据块的位置

---

conf/mapred-site.xml配置如下：

mapreduce.job.tracker : jobtracker的ip地址及端口

mapreduce.jobtracker.system.dir : MapReduce在HDFS上存储文件的位置，例如/hadoop/mapred/system

mapreduce.cluster.local.dir : MapReduce的缓存数据存储在文件系统中的位置

mapred.tasktracker.{map|reduce}.tasks.maxium : 每台TaskTracker所运行的map或者reduce的task的最大数量

dfs.hosts/dfs.hosts.exclude : 允许或者禁止的DataNode列表

mapreduce.jobtracker.hosts.filename/
mapreduce.jobtracker.hosts.exclude.filename :允许或者禁止的TaskTrackers列表

mapreduce.cluster.job-authorization-enabled : 布尔类型，表示job存取控制列表是否支持对job的观察和修改

---

conf/Hadoop-env.sh 配置如下：

export JAVA_HOME=/usr/local/jdk  指定java路径

---

conf.masters配置如下：

hadoop1 secondNameNode所运行的位置

---

conf/slaves配置如下：

hadoop1
hadoop2  datanode和tasktracker的位置