1.core-site.xml
fs.default.name:用于指定HDFS的namenode和默认的文件系统。
hadoop.tmp.dir:HDFS的存储目录。默认值是/tmp/hadoop-${user.name}.LINUX系统中,在服务重启以后,会把/tmp下的目录清空,所以这个一定要重新配置。配置之后需要格式化namenode
io.file.buffer.size 作为hadoop缓冲区,用于hadoop读hdfs和写hdfs的文件,默认是4k,但是一般可以设为128k
II.hdfs-site.xml
1 dfs.replication:相应的数值是文件的备份的数目。默认为3
2 dfs.name.dir: namenode存储永久性的元数据的目录列表,默认值是 ${hadoop.tmp.dir}/dfs/name.典型的配置如下
<property>
<name>dfs.name.dir</name>
<value>/disk1/hdfs/data,/disk2/hdfs/data</value>
<final>true<final>
</property>
其中的逗号表示两个地方存放的内容一样
3 dfs.data.dir: datanode存放数据块的目录列表。默认值是${hadoop.tmp.dir}/dfs/data
4 fs.checkpoint.dir: 辅助namenode存放检查点的目录列表。默认值是${hadoop.tmp.dir}/dfs/namesecondary
5 dfs.webhdfs.enabled 具体参考 blog.csdn.net/iloveyin/article/details/28264027
III.mapred-site.xml
1 mapred.job.tracker:
2 mapred.local.dir 存储作业中间数据的一个目录列表,作业终止时,数据被清除,默认值是${hadoop.tmp.dir}/mapred/local
3 mapred.task tracker.map.tasks.maximum 任一时刻,运行在tasktracker之上的map任务的最大值 ,默认值是 2
4 mapred.task tracker.reduce.tasks.maxmum 任意时刻,运行在tasktracker之上的reduce任务的最大值 ,默认值是 2
fs.default.name:用于指定HDFS的namenode和默认的文件系统。
hadoop.tmp.dir:HDFS的存储目录。默认值是/tmp/hadoop-${user.name}.LINUX系统中,在服务重启以后,会把/tmp下的目录清空,所以这个一定要重新配置。配置之后需要格式化namenode
io.file.buffer.size 作为hadoop缓冲区,用于hadoop读hdfs和写hdfs的文件,默认是4k,但是一般可以设为128k
II.hdfs-site.xml
1 dfs.replication:相应的数值是文件的备份的数目。默认为3
2 dfs.name.dir: namenode存储永久性的元数据的目录列表,默认值是 ${hadoop.tmp.dir}/dfs/name.典型的配置如下
<property>
<name>dfs.name.dir</name>
<value>/disk1/hdfs/data,/disk2/hdfs/data</value>
<final>true<final>
</property>
其中的逗号表示两个地方存放的内容一样
3 dfs.data.dir: datanode存放数据块的目录列表。默认值是${hadoop.tmp.dir}/dfs/data
4 fs.checkpoint.dir: 辅助namenode存放检查点的目录列表。默认值是${hadoop.tmp.dir}/dfs/namesecondary
5 dfs.webhdfs.enabled 具体参考 blog.csdn.net/iloveyin/article/details/28264027
III.mapred-site.xml
1 mapred.job.tracker:
2 mapred.local.dir 存储作业中间数据的一个目录列表,作业终止时,数据被清除,默认值是${hadoop.tmp.dir}/mapred/local
3 mapred.task tracker.map.tasks.maximum 任一时刻,运行在tasktracker之上的map任务的最大值 ,默认值是 2
4 mapred.task tracker.reduce.tasks.maxmum 任意时刻,运行在tasktracker之上的reduce任务的最大值 ,默认值是 2