hive
文章平均质量分 71
OopsOutOfMemory
http://weibo.com/oopsoom
展开
-
hive求页面访问路径
曾今在论坛上看到一个这样的题:有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t';数据:PLATFORM U原创 2014-03-27 15:11:17 · 2228 阅读 · 0 评论 -
Hive中reduce个数设定
Hive中reduce个数设定原理解析原创 2014-06-24 14:46:30 · 13445 阅读 · 1 评论 -
Hive数据翻倍总结
1. 本来8千万的数据和8千万的数据一下join后,变成了30亿。。2.原创 2014-05-23 18:53:56 · 4262 阅读 · 1 评论 -
Lateral View用法 与 Hive UDTF explode
Lateral View是Hive中提供给UDTF的conjunction,它可以解决UDTF不能添加额外的select列的问题。1原创 2014-05-16 19:11:26 · 27493 阅读 · 5 评论 -
Hive导入sequencefile错误
原因:自己上传的微原创 2014-04-09 18:18:44 · 5274 阅读 · 0 评论 -
hiveUDAF求中位数
第一次写UDAF,拿中位数来练手。看下中位数定义:MEDIAN 中位数(一组数据按从小到大的顺序依次排列,处在中间位置的一个数或最中间两个数据的平均数)写成genericUDAF的形式1 2 3 4 中位数 2+3/2=2.51 2 3 中位数 2附上代码:package org.apache.hadoop.hive.ql.udf.generic;原创 2014-04-03 13:15:05 · 7874 阅读 · 1 评论 -
查找hive中的视图
有一个需求,让找出hive中的所有视图。hive没有直接的命令来查看这个表是否是视图还是普通表。cd $HIVE_HOME/conf/more hive-site.xml假设我们看到的用户名和密码是hive_user和123456 javax.jdo.option.ConnectionURL jdbc:mysql://host:3306/hi原创 2014-03-27 15:34:16 · 3628 阅读 · 0 评论 -
Hive中跑MapReduce Job出现OOM问题分析及解决
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时,发生了OOM的异常。由于一个map通常配置只有64MB或者128MB,则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后,会发现既不是map阶段,也不是reduce阶段,发现不是执行过程,而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred原创 2014-11-21 20:02:47 · 29317 阅读 · 0 评论