【数据治理 - 计算】hadoop mapreduce任务指标采集常用api

标题

在数据治理领域，一些mr任务的核心指标对我们来说至关重要，如运行内存，运行sql，文件读写速率等。对于运行中的任务，在集群拥塞时可以根据核心指标快速排查出异常任务，对于完成的任务，可以进行诊断，看看是否有可以进行资源优化的地方。

1. 计数器接口：

api返回数据主要基本信息：

REDUCE_INPUT_RECORDS
SPILLED_RECORDS 
MAP_INPUT_RECORDS
SPLIT_RAW_BYTES 
MAP_OUTPUT_BYTES -- map输出字节数
FILE_BYTES_WRITTEN -- 文件写
REDUCE_PHYSICAL_MEMORY_BYTES 
REDUCE_OUTPUT_RECORDS -- reduce输出行数
MAP_OUTPUT_RECORDS -- map输出行数
HDFS_BYTES_READ -- hdfs读
MAP_PHYSICAL_MEMORY_BYTES
TOTAL_PHYSICAL_MEMORY_BYTES
FILE_BYTES_READ -- 文件读
HDFS_BYTES_WRITTEN -- hdfs写

1) running状态：

xxx:8088(yarnAddress):/proxy/{appId}/ws/v1/mapreduce/jobs/{jobId}/counters

2) finished状态：

xxxx:19888(jobHistory):/ws/v1/history/mapreduce/jobs/%s/counters

2. 配置信息接口

api返回数据主要基本信息：

mapreduce.map.memory.mb -- 单map使用内存
mapreduce.job.name -- 任务名称
mapreduce.reduce.memory.mb -- 单reduce使用内存
mapreduce.job.submithostname -- 提交机名称
mapreduce.map.java.opts:-Xmx1536m -- map jvm配置参数
mapreduce.map.cpu.vcores -- 单map cpu核数
hive.query.string -- 查询sql
mapreduce.reduce.cpu.vcores -- 单reduce cpu核数
mapreduce.reduce.java.opts

1) running状态：

xxx:8088(yarnAddress):/proxy/%s/ws/v1/mapreduce/jobs/%s/conf

2) finished状态：

xxxx:19888(jobHistory):/ws/v1/history/mapreduce/jobs/%s/conf

3. 基本信息接口

api返回数据主要基本信息：

{
"reduceFailed": 0, reduce阶段失败个数
"mapsSuccess": 0, map阶段成功个数
"mapsFailed": 0, map阶段失败个数
"reduceSuccess": 0, reduce阶段成功个数
"mapsKilled": 0,
"mapsTotal": 0, map阶段总个数
"reduceKilled": 0, reduce阶段kill个数
"reducesTotal": 0 reduce阶段总个数
}

1) running状态：

xxx:8088(yarnAddress):/proxy/%s/ws/v1/mapreduce/jobs

2) finished状态：

xxxx:19888(jobHistory):/ws/v1/history/mapreduce/jobs/%s