MapReduce控制台打印释义

MapReduce控制台最后的打印释义如下

File System Counters 组名
FILE: Number of bytes read=204404 读入的字节数,等于输入的文件
FILE: Number of bytes written=1154836 写了多少字节,包括Mapper与Reducer
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=7868967 多读了,shellf读了很多
HDFS: Number of bytes written=97537 写操作,有可能存在了内存中
HDFS: Number of read operations=24
HDFS: Number of large read operations=0
HDFS: Number of write operations=9
Map-Reduce Framework
Map input records=3151 文本一共多少段落
Map output records=4759
Map output bytes=42831
Map output materialized bytes=52361
Input split bytes=100 切片的字节数
Combine input records=0
Combine output records=0
Reduce input groups=4752 输入了多少组
Reduce shuffle bytes=52361 shuffle字节数
Reduce input records=4759 接收的数据
Reduce output records=4759 写出来的记录数
Spilled Records=9518
Shuffled Maps =2 分区数,洗牌数
Failed Shuffles=0
Merged Map outputs=2 合并输出
GC time elapsed (ms)=14
Total committed heap usage (bytes)=898105344 在堆上使用了这么多内存
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=2622989
File Output Format Counters
Bytes Written=52298

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值