项目中Map端数据处理不均匀性分析

最新推荐文章于 2021-05-29 22:20:11 发布

clamaa

最新推荐文章于 2021-05-29 22:20:11 发布

阅读量710

点赞数

分类专栏： hadoop balancer map

本文链接：https://blog.csdn.net/clamaa/article/details/70046170

版权

hadoop 同时被 3 个专栏收录

19 篇文章 0 订阅

订阅专栏

balancer

1 篇文章 0 订阅

订阅专栏

map

1 篇文章 0 订阅

订阅专栏

Map任务的不均匀性

最近发现Map端数据越来越不均匀，而处理输入的数据，写到本地磁盘的数据量都差不多，我们随便拿出来两个attempt任务（当前map数量为64个），33和45，33的counter：

下面是000045的Counter数据

可以看出Counter中的数据也是差不多，但是CPU时间以及GC时间相差比较大（实际上以ms为单位，也就相差不太大），CPU时间相差5分钟左右，我们对map端执行的每段数据进行标记：

[INFO]  2014-10-19 19:17:19 : current caid(2000716) report generated!
[INFO]  2014-10-19 19:17:47 : current caid(2000717) report generated!
[INFO]  2014-10-19 19:18:35 : current caid(2000687) report generated!
[INFO]  2014-10-19 19:19:02 : current caid(2000713) report generated!
[INFO]  2014-10-19 19:19:33 : current caid(2000706) report generated!
[INFO]  2014-10-19 19:20:01 : current caid(2000707) report generated!
[INFO]  2014-10-19 19:20:29 : current caid(2000704) report generated!
[INFO]  2014-10-19 19:21:30 : current caid(2000697) report generated!
[INFO]  2014-10-19 19:22:01 : current caid(2000699) report generated!
[INFO]  2014-10-19 19:22:42 : current caid(2000701) report generated!
[INFO]  2014-10-19 19:23:23 : current caid(2000700) report generated!
[INFO]  2014-10-19 19:23:53 : current caid(2000702) report generated!
[INFO]  2014-10-19 19:24:21 : current caid(2000689) report generated!
[INFO]  2014-10-19 19:25:00 : current caid(2000688) report generated!
[INFO]  2014-10-19 19:25:41 : current caid(2000690) report generated!
[INFO]  2014-10-19 19:26:22 : current caid(2000693) report generated!
[INFO]  2014-10-19 19:27:29 : current caid(2000692) report generated!

这个执行得非常快，而相反45就比较慢了：

[INFO]  2014-10-19 19:41:17 : current caid(2000716) report generated!
[INFO]  2014-10-19 19:43:32 : current caid(2000717) report generated!
[INFO]  2014-10-19 19:45:59 : current caid(2000687) report generated!
[INFO]  2014-10-19 19:50:57 : current caid(2000713) report generated!
[INFO]  2014-10-19 19:55:20 : current caid(2000706) report generated!
[INFO]  2014-10-19 20:04:22 : current caid(2000707) report generated!
[INFO]  2014-10-19 20:07:23 : current caid(2000704) report generated!
[INFO]  2014-10-19 20:10:33 : current caid(2000697) report generated!
[INFO]  2014-10-19 20:14:14 : current caid(2000699) report generated!
[INFO]  2014-10-19 20:17:28 : current caid(2000701) report generated!
[INFO]  2014-10-19 20:21:11 : current caid(2000700) report generated!
[INFO]  2014-10-19 20:26:34 : current caid(2000702) report generated!
[INFO]  2014-10-19 20:32:27 : current caid(2000689) report generated!
[INFO]  2014-10-19 20:35:46 : current caid(2000688) report generated!
[INFO]  2014-10-19 20:37:53 : current caid(2000690) report generated!
[INFO]  2014-10-19 20:39:42 : current caid(2000693) report generated!
[INFO]  2014-10-19 20:41:25 : current caid(2000692) report generated!

可以看出，明显比33慢出一个数量级，而且是每个步骤都比较慢，不存在单独数据的故障。首先，任务开始时间有差别，这是因为在最慢的任务启动之前，最快的任务都已经完成了，这是因为资源分配不均匀造成的，也是因为我们初始的时候任务启动过多，以至于Map总是一个个启动；但还有一点就是000045处理每个活动的速度其实都是比较慢的，甚至系统还为此启动了一个推测式任务：

[INFO]  2014-10-19 19:45:58 : current caid(2000716) report generated!
[INFO]  2014-10-19 19:47:58 : current caid(2000717) report generated!
[INFO]  2014-10-19 19:50:28 : current caid(2000687) report generated!
[INFO]  2014-10-19 19:52:29 : current caid(2000713) report generated!
[INFO]  2014-10-19 19:59:15 : current caid(2000706) report generated!
[INFO]  2014-10-19 20:02:12 : current caid(2000707) report generated!
[INFO]  2014-10-19 20:04:38 : current caid(2000704) report generated!
[INFO]  2014-10-19 20:08:47 : current caid(2000697) report generated!
[INFO]  2014-10-19 20:16:01 : current caid(2000699) report generated!

这个推测式任务由于主任务的执行完成而被kill，但从任务的进度来看，好像要比原来的任务进度稍微快一点。

本地化balancer策略

我们对数据块都进行了本地化策略，能够确保大部分数据在Map端执行时都使用本地的数据进行，下面我们就查看对应的服务器上是否有该块信息。

首先，在执行任务时，某个Split块信息打印出来，比如00058块，通过查看hadoop命令手册：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#fsck。

hadoop fsck  /xxxx/xxx_part-r-00058 -files -locations -blocks
Connecting to namenode via http://x1202.xxxx.cn:50070
FSCK started by tong (auth:SIMPLE) from /192.168.7.11 for path //xxxx/xxx_part-r-00058 at Mon Oct 20 14:16:40 CST 2014
/xxxx/xxx_part-r-00058 864740440 bytes, 7 block(s):  OK
0. BP-714842383-192.168.7.11-1393991369860:blk_1088800687_1099546661897 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.21:50010]
1. BP-714842383-192.168.7.11-1393991369860:blk_1088801074_1099546662284 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.34:50010]
2. BP-714842383-192.168.7.11-1393991369860:blk_1088801189_1099546662399 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.24:50010]
3. BP-714842383-192.168.7.11-1393991369860:blk_1088801280_1099546662490 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.20:50010]
4. BP-714842383-192.168.7.11-1393991369860:blk_1088801390_1099546662600 len=134217728 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.26:50010]
5. BP-714842383-192.168.7.11-1393991369860:blk_1088801661_1099546662871 len=134217728 repl=3 [192.168.7.14:50010, 192.168.7.75:50010, 192.168.7.16:50010]
6. BP-714842383-192.168.7.11-1393991369860:blk_1088801774_1099546662992 len=59434072 repl=3 [192.168.7.75:50010, 192.168.7.14:50010, 192.168.7.13:50010]

Status: HEALTHY
 Total size:864740440 B
 Total dirs:0
 Total files:1
 Total symlinks:0
 Total blocks (validated):7 (avg. block size 123534348 B)
 Minimally replicated blocks:7 (100.0 %)
 Over-replicated blocks:0 (0.0 %)
 Under-replicated blocks:0 (0.0 %)
 Mis-replicated blocks:0 (0.0 %)
 Default replication factor:3
 Average block replication:3.0
 Corrupt blocks:0
 Missing replicas:0 (0.0 %)
 Number of data-nodes:31
 Number of racks:1
FSCK ended at Mon Oct 20 14:16:40 CST 2014 in 1 milliseconds

块本身的数据并没有任何问题，而且从块的数据分布可以看出，当前集群中HDFS块的大小设置为128M，策略大概设置为3到4个块来进行保存该block的数据。

根据某个HDFS数据块的分布情况，我们使用ping机器主机名称的方式查到具体的ip地址

下面就简要说明一下我们如何分片的，每日的日志都会根据一定的字段分成固定的数量（64个），Map端处理的InputSplit扩展自CombineInputSplit，即多个不同日期日志文件的集合，每个集合对应的不同日期相同下标的日志文件。