![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
诡笑书生
外圆内方,取象于钱。
展开
-
读取RcFile文件
本文介绍一个读取rcflie文件的示例。原创 2015-02-28 16:05:09 · 2614 阅读 · 0 评论 -
运行大作业(文件数目多)时需要注意的参数
运行大作业(文件数目多)时需要注意的参数: Hadoop2 采用Yarn管理作业,与Hadoop1不同的是,Hadoop2会控制每个任务的内存数量。因此,当作业执行失败时,可根据报错信息调整以下参数 参数一: AM内存 MR_ApplicationMaster占用的内存量。如果一个作业的map过多,可能导致am内存溢出,进而作业失败。conf.set("yarn.app.ma原创 2015-03-12 18:16:35 · 2947 阅读 · 0 评论 -
hive列转行 (collect_set())
转载链接:http://my.oschina.net/dataRunner/blog/295960 一、问题 hive如何将 a b 1 a b 2 a b 3 c d 4 c d 5 c d 6 变为:转载 2015-03-12 18:14:26 · 558 阅读 · 0 评论