hive
数据游戏
这个作者很懒,什么都没留下…
展开
-
hive中关于表的一些操作指令
hive表操作1.建表 CREATE TABLE `test_part_category`( > rowkey string COMMENT 'hbase中rowkey', > mid string, > market_id bigint, > code string, > key string, > value string, > create_time string COMMENT原创 2020-11-13 09:26:25 · 253 阅读 · 0 评论 -
数仓ods分区总结
表概念1.全量表:用来记录当前所有事物的最新信息,包括变化的和没有变化的.2.增量表:用来记录事务的有变化的量。只记录有变化的没有变化的不需要记录.3.快照表:快照表是有时间分区的,每个分区里面的数据都是分区时间对应的前一天的所有全量数据.4.拉链表: 记录一个事物从开始,一直到当前状态的所有变化的信息.不分区保留历史数据方式以及计算影响ods层新增数据插入到原表中,这样原表中会保存...原创 2020-03-16 10:52:45 · 3171 阅读 · 0 评论 -
Apache Impala总结
Impala 基于hive,使用内存计算,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。Impala适合用来处理输出数据适中或比较小的查询。组件简绍Impala Statestore :检查集群各个节点上Impala daemon的健康状态,同时不间断地将结果反馈给各个Impala daemonImpala Catalog :分发hive 的元数据信息到 Imp...原创 2020-02-24 22:04:41 · 635 阅读 · 0 评论 -
Flink 1.9 Table API & SQL 1
Flink 1.9 Table API & SQL Apache Flink具有两个关系API-Table API和SQL-用于统一流和批处理。Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式例如使用关系运算符(选择,过滤和联接等)来进行查询。Flink的SQL基于标准的Apache Calcite。无论输入是批处理输入(DataSet)还是流输...原创 2020-01-21 09:10:17 · 763 阅读 · 0 评论 -
hive中一些基础的函数
###日期相关函数1.regexp_replace(order_time, ‘-’, ‘’)将字符串中的 - 替换为空格`2.from_unixtime(unix_timestamp(),‘yyyy-MM-dd HH:mm:ss’)获取当前的时间`3.from_unixtime(bigint unixtime,string format)将时间戳秒数转化为UTC时间,并用字符串表示,可...原创 2020-01-19 11:11:11 · 618 阅读 · 0 评论