hive
文章平均质量分 79
fengfengchen95
迷茫是因为有太多的时间去胡思乱想,唯独让自己充实,一直处于忙碌状态,就没有时间去迷茫
展开
-
hive函数大全
Hive常用函数大全一览Hive常用函数大全一览1 关系运算1.1 1、等值比较: =1.2 2、不等值比较:1.3 3、小于比较: <1.4 4、小于等于比较: <=1.5 5、大于比较: >1.6 6、大于等于比较: >=1.7 7、空值判断: IS NULL1.8 8、非空判断: IS NOT NULL1.9 9、LIKE比较: LIKE...转载 2019-12-23 14:41:46 · 811 阅读 · 0 评论 -
hive 常用函数
1.日期比较函数: datediff语法: datediff(string enddate,string startdate)返回值: int 说明: 返回结束日期减去开始日期的天数。举例:hive> select datediff('2016-12-30','2016-12-29'); 返回12.日期增加函数: date_add语法: date_add(string...原创 2019-12-23 10:38:12 · 221 阅读 · 0 评论 -
hive时间戳函数
(转载):https://www.2cto.com/database/201806/757785.html时间戳是数据库常用的存放日期的形式之一,表示从 UTC 时间’1970-01-01 00:00:00’开始到现在的秒数,与常规时间格式如 ‘2018-01-01 00:00:00’可以相互转换,方法如下。一、unix_timestamp 函数用法1、unix_timestamp()...转载 2019-03-27 10:51:05 · 16997 阅读 · 1 评论 -
Hive UDF开发指南(转)
Hive UDF开发指南编写Apache Hive用户自定义函数(UDF)有两个不同的接口,一个非常简单,另一个...就相对复杂点。如果你的函数读和返回都是基础数据类型(Hadoop&Hive 基本writable类型,如Text,IntWritable,LongWriable,DoubleWritable等等),那么简单的API(org.apache.hadoop.hive.ql...转载 2018-08-14 13:08:20 · 381 阅读 · 0 评论 -
hive 使用partion by获取分组后的首尾时间
insert overwrite table smes_trans.trans_reel_supplierselect distinct queue_tri.wo_code,queue_tri.ws_id,queue_tri.slot_no,queue_tri.slot_side,compare_results.mcno,compare_results.bom_cpid,queu...原创 2018-07-31 16:46:09 · 1370 阅读 · 0 评论 -
sqoop抽取数据到hive(DDL创建)
将Sqlserver中数据抽取到HIVE外部表:F_WORKSTATION1.sqool语句:sqoop import --connect "jdbc:sqlserver://10.96.3.112:1433;database=SMES_CQ_2017" --username sa --password SMES@CQ --table F_WORKSTATION --target-dir...原创 2018-07-31 16:26:17 · 1603 阅读 · 0 评论 -
hbase映射hive表的DDL
将hbase中的表PCB_SYS:W_SCHEDULE_KETTLE映射到hive中:smes_source.w_schedule_hbase:create external table smes_source.w_schedule_hbase( rowkey string, schedule_id int, wo_code string, bom_97_cod...原创 2018-07-31 16:19:20 · 291 阅读 · 0 评论 -
Impala和Hive的关系(详解)
Impala和Hive的关系(详解) Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善中。 与Hive的关系 Impala 与Hive都是构建在Hadoo...转载 2018-05-10 10:55:33 · 3830 阅读 · 0 评论 -
Hive数据倾斜解决方法总结
Hive数据倾斜解决方法总结 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候,如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候,某些节点的计算能力比较强或者需要计算的数据比较少,早早执行完了,某些节点计算的能力较差或者由于此节点需要计算的数据比较多,导致出现其他节...转载 2018-05-09 15:13:07 · 255 阅读 · 0 评论 -
hive异常记录
1.HIVE MapJoin异常问题摘要: HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题描述、mapjion原理以及产生该问题的原因,解决方案做一下介绍,最后对该问题进行了进一步的思考,希望对解决该类问题的朋友有所帮助。问题描述在跑hive作业的时候,偶尔会遇到下面的异常 FAILED: Execution E...转载 2018-05-09 14:59:27 · 1767 阅读 · 0 评论