hadoop 相关配置（未完成）

1.core-site.xml


fs.default.name:用于指定HDFS的namenode和默认的文件系统。


hadoop.tmp.dir:HDFS的存储目录。默认值是/tmp/hadoop-${user.name}.LINUX系统中，在服务重启以后，会把/tmp下的目录清空，所以这个一定要重新配置。配置之后需要格式化namenode


io.file.buffer.size 作为hadoop缓冲区，用于hadoop读hdfs和写hdfs的文件，默认是4k，但是一般可以设为128k


II.hdfs-site.xml


1 dfs.replication:相应的数值是文件的备份的数目。默认为3


2 dfs.name.dir: namenode存储永久性的元数据的目录列表，默认值是 ${hadoop.tmp.dir}/dfs/name.典型的配置如下
<property>
<name>dfs.name.dir</name>
<value>/disk1/hdfs/data,/disk2/hdfs/data</value>
<final>true<final>
</property>
其中的逗号表示两个地方存放的内容一样




3 dfs.data.dir: datanode存放数据块的目录列表。默认值是${hadoop.tmp.dir}/dfs/data


4 fs.checkpoint.dir: 辅助namenode存放检查点的目录列表。默认值是${hadoop.tmp.dir}/dfs/namesecondary


5 dfs.webhdfs.enabled 具体参考 blog.csdn.net/iloveyin/article/details/28264027


III.mapred-site.xml


1 mapred.job.tracker: 


2 mapred.local.dir 存储作业中间数据的一个目录列表，作业终止时，数据被清除，默认值是${hadoop.tmp.dir}/mapred/local


3 mapred.task tracker.map.tasks.maximum 任一时刻，运行在tasktracker之上的map任务的最大值 ,默认值是 2


4 mapred.task tracker.reduce.tasks.maxmum 任意时刻，运行在tasktracker之上的reduce任务的最大值 ，默认值是 2