Hadoop参数文件

有两类参数文件：

默认参数文件：core-default.xml、hsfs-default.xml、mapred-default.xml；

站点特点文件：core-site.xml、hdfs-site.xml、mapred-site.xml。

参数文件通过多个xml格式表示的 名称-值对 的形式控制hadoop。

1、mapred-site.xml

CPU相关：

mapred.tasktracter.map.tasks.maximum：TaskTracker同时运行map任务的最大数，默认2；

mapred.tasktracter.reduce.tasks.maximum：TaskTracker同时运行reduce任务的最大数，默认2；

I/O相关：

mapred.compress.map.output：map任务的输出会使用sequenceFile解压缩，默认false；

mapred.output.compress：启用对作业输出的压缩，默认false；

mapred.map.output.compression.codec：map输出进行压缩时的编解码方式；

如果压缩了数据，中间数据量会变少，减少数据传输时间，但是，只有当输入数据量很大而且容易拆分时，才启用压缩，否则会造成集群性能的降级。

Hadoop存储数据的位置：

mapred.local.dir：map中间文件的存储位置，default：${hadoop.tmp.dir}/mapred/local；

dfs.data.dir（dfs-site.xml）：DataNode在本地文件系统上存储数据块目录，default：${hadoop.tmp.dir}/dfs/data；

内存相关：

每个JVM任务的可用内存、分配给每个MapReduce作业的虚拟内存的极限值、排序时使用的缓冲区的大小、对文件进行排序时的一次合并的map输出分区的数目(优化MapReduce的合并和排序)