- 博客(2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop自定义Counter
1.通过enum自定义Counterpublic static num LOG_PROCESSOR_COUNTER {BAD_RECORDS};2.在Mapper或者Reducer中操作Countercontext.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS). increment(1);3.在Job完成后可以进行最终统计结
2013-09-10 22:22:25
1727
原创 Hadoop SequenceFile
SequenceFile格式：每一个SequenceFile都包含一个“头”（header)。Header包含了以下几部分。1.SEQ三个字母的byte数组2.Version number的byte，目前为数字3的byte3.Key和Value的类名4.压缩相关的信息5.其他用户定义的元数据6.同步标记，sync marker对于每一条记录（K-V），其内部格式根据
2013-09-10 22:21:34
2088
空空如也
Java读取NAS存储速度太慢
2015-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人