- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 Hadoop字符转码的实现
在hadoop中最常见的就是Text,而Text对象是继承了BinaryComparable且实现了WritableComparable接口。在Text内部封装了原始二进制数据byte数组和长度,并且提供了编码解码的工具类,Text的toString()方法是已经解码过的。 今天在工作中遇到一个问题,我的一个job输出格式为TextInputFormat,但是在另一个job读取的时候总是
2013-04-29 21:37:09 1437
原创 Partition取值
今天在做日志分析的时候遇到一个问题,数据总是对不上(一个是通过Mapreduce计算,另一个通过hive计算的),找了半天,发现时以下错误:java.io.IOException: Illegal partition for com.sohu.tv.amstat.mr.AdvBookFlightSummary$CompositeKey@63d87b85 (-3) at org.apache.
2013-04-19 17:20:18 1442
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人