大数据：Hadoop常见参数控制+调优策略

Hadoop常见参数控制+调优策略

hadoop常见参数

配置所在文件	参数	参数默认值
hdfs-site.xml	dfs.namenode.support.allow.format 格式化指令：hadoop namenode -format 作用是生成新的Fsimage文件和Edits文件。也会清空之前的元数据	true	默认是生效的. 把参数变为false,可以使此指令失效
hdfs-site.xml	dfs.heartbeat.interval	3	默认心跳间隔周期是3s.如果集群网络状况不好,可以适当调大此参数
hdfs-site.xml	dfs.blocksize	134217728	块大小,默认是128MB.一般不调此大小. 但是如果要调节,必须是1024的整数倍
hdfs-site.xml	dfs.namenode.checkpoint.period 可以通过指令手动合并： hadoop dfsadmin -rollEdits	3600	此参数是Fsimage和Edits文件的合并周期,默认是3600s
hdfs-site.xml	dfs.stream-buffer-size	4096	获取的输入流或输出流默认自带缓冲区, 大小是4096字节. 可以适当调大此参数,但必须是1024整数倍
mapred-site.xml	mapreduce.task.io.sort.mb	100	溢写缓冲区大小,默认是100MB.可以适当调大此大小. 一般可以控制在200MB~350MB之间.主要看服务器的配置情况
mapred-site.xml	mapreduce.map.sort.spill.percent	0.8	溢写阈值, 默认是80%.主要,不要将此参数调成1.一般百分比参数都不动
mapred-site.xml	mapreduce.reduce.shuffle.parallelcopies	5	是reduce 默认的Fetch线程数, 调节的策略:让线程数尽可能进阶或等于Map任务数,达到并行抓取的效果
mapred-site.xml	mapreduce.job.reduce.slowstart.completedmaps	0.05	此参数是Reduce的启动比例,默认是5%. 比如100个map任务,有5个map任务完成,reduce就开始工作.
mapred-site.xml	io.sort.factor	10	此参数是Merge的合并因子,默认是10.可以适当调大此参数,也可以减少I/O
mapred-site.xml	mapred.compress.map.output	false	对Map任务最后生成的结果文件是否开启压缩.默认是不开启的.开启压缩的好处在于可以减少网络数据的传输,节省带宽. 开启压缩,会导致占用更多的CPU资源.
mapred-site.xml	mapred.map.tasks.speculative.execution	true	Map任务的推测执行机制.此机制默认就是开启. MR框架会检测 运行明显慢于其他map任务的任务,然后对于慢任务,会在其他服务器上启动备份任务. 最后哪个运行快,就用哪个,然后将慢任务kill 掉. 此机制的目的是为了弥补job运行的短板机制. 注:如果当集群的计算资源比较紧张时,可以将此机制关掉.
mapred-site.xml	mapred.reduce.tasks.speculative.execution	true	Reduce任务的推测执行机制

MR调优策略

Map Task和Reduce Task调优的一个原则就是

1.减少数据的传输量

2.尽量使用内存

3.减少磁盘IO的次数

4.增大任务并行数

5.除此之外还有根据自己集群及网络的实际情况来调优。