Cumu Blog

1. wordcount程序相当于hadoop MapReduce的一个helloworld程序吧，纯的MR代码如下：    a.

1. 最近有个需求是找出一批一年内每个月连续交易额超过10000元的商户，经过hive的一些操作最后数据如下（已省略不需要的字段）：    m, p, consume, cnt m和p唯一标记商户，consume是12个月的交易额（逗号分割）,cnt不用管2. 分析得知用hive原生的一些函数不好处理，那么想到了udf，本来想用java写的，但是java有太多依赖包了，刚好在学python

本文转载自：http://blog.csdn.net/lovingprince/article/details/7264549几个比较特殊的点都提到了，大家可以作为参考。在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得

1. hive0.10及之前的版本没有row_number这个函数，假设我们现在出现如下

1. hive中join就是一条select语句，其个性

1. 用MR实现hive的Distributed by and sort by使用，如：select * from A distributed by a, b，意思就是根据

1. hadoop: http://blog.csdn.net/jthink_/article/details/386222972. hive:

http://blog.csdn.net/jthink_/article/details/38622297http://blog.csdn.net/jthink_/article/details/38623585两个连起来

1. order by    Hive中的

1. hive是基于hdfs的一个数据仓库

1. 假设我们在hive中有两张表，其中一张表是存用户

最近遇到新的需求，需要将hive脚本运行输出的结果存入hbase，故写出一个通用的hive udf来满足该需求，具体代码如下：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableN