chuhanyong5091-CSDN博客

转载 LongWritable cannot be cast to org.apache.hadoop.io.IntWritable

2016-12-22 17:27:32,676 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from a...

2016-12-23 14:14:00 1075

转载 hive查询性能-where条件中的变量

如下面的例子，目标表是分区表，dt为分区键，每个分区数据量大概100w左右，为获取当前日期分区内的count值 select count(house_id) from ods_edw_house.ods_t_second_house where dt = regexp_replace(da...

2016-12-14 15:08:00 548

转载分析函数问题-矢量计算时管道越界

报错信息如下： Diagnostics report from attempt_1479210500211_159364_m_000003_0: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.Hiv...

2016-12-14 13:57:00 247

转载 hive hue查询故障

通过hue运行workflow，由于运行时间太久，怀疑在家vpn断了，通过hue界面终止了workflow。再次连接到hue运行hive sql时，报以下错误 Could not connect to w9-hadoop.esf.fdd:10000 尝试以下方法 1.关闭网页，重新登录 ...

2016-11-17 23:10:00 1002

转载 hive中使用NVL函数问题

最近做用户标签，在统计用户在地域浏览信息时，需要用到concat_ws('|', collect_set())链接函数，group by生成的这个字段有部分空值，简单的在标签外加了一层nvl()设置null值的默认值，发现空值仍然存在，函数处理方式如下： nvl(concat_ws('|',...

2016-11-15 14:45:00 2032

转载 hive sql执行异常终止

具体sql如下： select a1.cust_id, a1.house_id, a1.cell_id, f1.cell_hot_flag, a1.city_id, f1.fdd_c...

2016-10-28 09:38:00 3277

转载 hive外部表访问异常-Cannot obtain block length for LocatedBlock

早上收到Oozie报错的警告，原因是在查询一张表上一天数据时报错具体报错如下： 2016-10-20 00:53:58,751 ERROR [main] SessionState (SessionState.java:printError(932)) - Status: Failed2...

2016-10-20 14:48:00 248

转载 Oozie workflow sqoop配置query sql问题

workflow调度使用sqoop组件，query中sql之间必须用tab键分割，workflow在解析配置文件时，无法识别空格，只能使用tab键，否则会报错，例如--query "SELECT DROP_PARTITION('table_name','${dt}')" 报错信息如下：...

2016-10-11 17:17:00 293

转载去O迁移经验分享

Hive与Oracle表关联语句对比 http://www.linuxidc.com/Linux/2014-04/100999.htm http://www.tuicool.com/articles/63m6f2 列转行：拆分的逻辑，可以用explode配合split，later view实...

2016-09-13 15:47:00 342

转载查看执行计划

SELECT * FROM etl.etl_prcs_log t WHERE t.log_msg LIKE "%T_CMN_LUFAX_COIN%" AND t.logtm >= trunc(SYSDATE) - 12/24 ORDER BY 1 DESC ; SELECT ...

2016-06-22 13:59:00 89