1112工作总结

 本想已经把map reducer编好了，可却没成想今天确实怂了一路。

原因是没有彻底搞懂各个字段····而且也没人告我hive中数据的字段长度和hdfs的字段长度是不同的，而且我的程序时按照昨天在hive表中数的长度计量的,而且分隔符是“/001”,不是“/t”·····所以结果一直为空。。囧

 

后来慌慌的问前辈为什么只有uid后面跟奇怪的符号··点开reducer才发现是传个空，幸好前辈人够好而且不会java··不然我一定会被鄙夷的

 

日后一定要先看数据再写代码。还是数据敏感度低吧。。不过好歹是弄好了

<!--StartFragment -->

 

 

这种情况是回滚，多执行几次

 

 

上午出现的数据倾斜，加了个combiner解决了

 

 

用matches匹配字符串

<!--StartFragment -->

a.matches(".*char.*")       匹配"char”

<!--StartFragment -->

a.matches(".*char.*|.*int.*")       匹配"char” "int"

 

 

我想自己已经开始承担假期中一天哭八遍的恶果了