Hive
C_time
BD
展开
-
hivesql之lateral view explode遇到记录为空情况
在正常解析一个有值的字符串时,用lateral view explode是完全ok的,但是,当遇到该字符串为空时,如果在使用该函数,就会导致该条记录消失。这时候需要加个outer lateral view outer explode...原创 2019-11-29 16:28:13 · 3012 阅读 · 0 评论 -
启动hive出错Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina
启动hive出错: 启动hive出错: Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected 解决方案: cp /usr/apps/hive/hive‐1.2.1/lib/jline‐2.12.jar $...原创 2019-08-19 19:18:51 · 945 阅读 · 0 评论 -
hive与hbase整合过程及遇到的错误锦集
1.首先清楚 版本依赖错误:我的hive是1.2.1 hbase也是1.2.1然后hive下面的lib目录有个hive-hbase-handler-1.2.1.jar 包,在你第一次在hive上建与hbase表时,会产生Cannot find class 'org.apache.hadoop.hive.hbase.struct.HBaseStorageHandler'既要协调使用hiv...原创 2019-08-20 11:09:32 · 3680 阅读 · 1 评论 -
hive练习笔记 静态分区 动态分区 加载数据方式 严格模式 创建表 库 及其相关操作
1.首先,hive遵循sql的结构规则set ;with tmp as()selectfrom( select a.id id, --二级id a.name name, from test a left join test1 b on ... join ... where group by having...原创 2019-09-09 21:00:44 · 690 阅读 · 0 评论 -
Tez安装与使用(与hive配合使用)及lzo.jar报错错误解决
1 tez的概览1.1 tez介绍1.1.1 介绍tez是一个apache的开源项目,意在构建一个应用框架,能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上,换句话就是yarn为其提供资源。tez主要的两个设计目标:增强终端用户使用:灵活的数据流定义API灵活的输入输出运行时模型(强调处理模型)数据类型无关简洁部署高性能执行:通过mapreduce提...原创 2019-09-17 21:50:46 · 2434 阅读 · 0 评论 -
hive正则表达式之 regexp regexp_extract regexp_replace
1.regexp语法: A REGEXP B操作类型: strings描述: 功能与RLIKE相同select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp '\\d{8}'与下面查询的效果是等效的:select count(*) from olap_b_dw_hotelorder_f wh...原创 2019-09-20 11:20:04 · 1716 阅读 · 0 评论 -
hive正则表达式之读取access.log日志
Hive里的正则表达式如,hive的官网底部输入regex可查到下面就是hive里的正则表达式,9个字段,对应定义那边也要9个"input.regex" = "([^ ]*) ([^ ]*) ([^.]*) \[(.*)\] "(.*)" (-|[0-9]*) (-|[(0-9]*) "(.*)" "(.*)""([^ ]*) ([^ ]*) ([^.]*) \[(.*)\] "(.*...原创 2019-09-20 11:28:21 · 726 阅读 · 0 评论