hadoop命令行中自定义计数器


效果执行如下:


/**
  * 缩进较短的称为计数器组
  * 缩进较长的称为计数器组下的计数器
*/
hello you
hello me



Counters: 19
  File Output Format Counters 
    Bytes Written=19 //写出去多少字节
  FileSystemCounters //包含HDFS系统文件  (所以略)
    FILE_BYTES_READ=333
    HDFS_BYTES_READ=38
    FILE_BYTES_WRITTEN=129076
    HDFS_BYTES_WRITTEN=19
  File Input Format Counters //包含HDFS系统文件  (所以略)
    Bytes Read=19//从输入文件读取的字节数
------------------重点---------------------------
  Map-Reduce Framework
    Map output materialized bytes=65
    Map input records=2//读取记录的行数  hello you   hello me两行
    Reduce shuffle bytes=0
    Spilled Records=8
    Map output bytes=51
    Total committed heap usage (bytes)=385875968
    SPLIT_RAW_BYTES=86
    Combine input records=4 //规约输入
    Reduce input records=4 //reduce输入的记录数  (等于map的输出)
    Reduce input groups=3  //reduce输入的组数      (<hello,{1,1}><me,1><you,1>共3组)
    Combine output records=3 //规约输出
    Reduce output records=3 //reduce输出的记录数 (<hello,2><me,1><you,1>共3组)
    Map output records=4   //输入的记录行   hello 1  you 1  hello 1 me 1

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值