Hive
文章平均质量分 57
暁洣
读奇书,做奇事,交奇友,做个奇女子
展开
-
hive的拉链表
最近再工作中,经常发现有用到拉链表的场景,经过一系列的学习,大概总结了一下自己对拉链表的了解,可能不是特别到位,后续再做进一步的补充,仅供参考。名词解释开链:向表中插入数据的过程关链:修改结束日期的过程存量:一段时间内系统保存的数据增量:一段时间内系统中发生变化的数据全量:系统中保存的所有的数。关链时间:拉链表中的数据有效期,一般都会设计的比较大,如:3000.12.31使用场景...原创 2018-11-30 12:42:42 · 809 阅读 · 0 评论 -
开发中hive常见的问题
最近做了一些etl处理,写了些hql语句,在此过程中,遇到一些小问题,趁着还能记得的时候,记录下来。concatconcat是hive中的连接函数,返回输入字符串连接后的结果,支持任意个输入字符串concat(String1,String2,String3....)在我的hql语句中,通过concat将日期字段和时间字段进行拼接后排序,但是排序后的结果出现了乱序的情况,并没有按照理想的...原创 2019-03-04 09:43:15 · 1150 阅读 · 0 评论 -
Hive内部表和外部表的区别
区别创建内部表:内部表直接创建,不需要加关键字create table if not exits xm_testA( KEHUMC VARCHAR(50) COMMENT '客户名称', KEHUZH VARCHAR(50) COMMENT '客户号')COMMENT '客户信息表'外部表:外部表的创建需要加上external关键字修饰,可以通过location指定...原创 2019-03-12 14:36:26 · 5853 阅读 · 2 评论 -
hive内部表和外部表之间的相互转换
背景在对hive进行进一步了解的同时,发现了hive的内部表和外部表可以通过更改属性进行转换,并且不会因为数据量大小影响转换的性能实现内部表转外部表alter table xm_testA set TBLPROPERTIES ('EXTERNAL = true')外部表转换内部表alter table xm_testB set TBLPROPTIES ('EXTERNAL = fals...原创 2019-03-12 14:56:22 · 7007 阅读 · 5 评论 -
hive优化--从二十个小时到五分钟的跨度
背景上个月,做了一个业务背景比较复杂,涉及表众多的etl处理,在整个过程中遇到了很多坑,其中最大的一个坑是,在整个s q l的处理过程中,有一段sql的执行花费时间较长,执行了二十多个小时未结束。严重影响了etl的进度,对此进行了一些列的优化,但效果甚微。解决具体的sql如下:(涉及业务隐私,表名和列名就简化了)select * from (select * from a1 where ...原创 2019-07-10 16:45:27 · 340 阅读 · 0 评论 -
浅谈hive和hbase的区别
hive和hbase是大数据领域常见的两个组件,常常会被放在一起比较,于是略微总结了一下两者的区别,通过不同的维度对二者进行一下分析,以供参考。概念Apache hive是构建在Hadoop基础之上的数据仓库,支持使用hive SQL(又称hql,这是一种类sql语言)语句对hdfs上的数据进行查询,这种语句最终回被转换成map-reduce任务进行执行。但是不支持交互式查询,因为查询的都是...原创 2019-07-26 14:45:06 · 445 阅读 · 0 评论 -
Hbase数据映射到hive
今天同事过来问我hbase和hive字段类型之间的对应关系,我就顺带问了一下,她在干什么,她说要将hbase的数据映射到hive中去,建一个hbase的映射表,问我是建一个内部表映射呢,还是外部表映射呢。恰好最近正在做知识总结,我就来总结下这个映射关系吧。内部表映射首先说一下Hbase数据到hive内部表的映射,代码如下:create table stu_info{ key string...原创 2019-08-08 10:27:52 · 1965 阅读 · 0 评论 -
hive表数据导入到Hbase
hive数据导入到Hbase中有两种方式。方式一 —— 内部表映射适用于数据量不是特别大的场景。首先说一下Hbase数据到hive内部表的映射,代码如下:create table stu_info{ key string comment '主键', name string comment '名字', age int comment'年龄'}STORED BY 'org.ap...原创 2019-08-08 15:27:38 · 6470 阅读 · 3 评论