Hive的distinct和group by性能比较

Hive的distinct和group by性能比较 Hive去重统计 当一个表的数据量非常大的时候,会发现一个简单的count(distinct order_no)这种语句跑的特别慢,和直接运行count(order_no)的时间差了很多。 在能使用group by代替distinc就不要...

2018-10-26 00:56:56

阅读数 1070

评论数 0

Hive时间函数

Hive时间函数 1、unix_timestamp() 返回当前时区的unix时间戳  返回类型:bigint  hive> select unix_timestamp() from hive_sum limit 1;  1465875016 2、from_unix...

2018-09-09 21:47:16

阅读数 186

评论数 0

Hive行列转换

Hive行列转换1、行转列 (根据主键,进行多行合并一列)使用函数:concat_ws(‘,’,collect_set(column)) collect_list 不去重 collect_set 去重 column 的数据类型要求是 string 1.1、构建测试数据vi row_to_col...

2018-04-14 20:12:38

阅读数 1059

评论数 0

Hive整合Hbase(二)

Hive整合Hbase实战1、hbase表映射到hive表中 1、在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3 create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERS...

2018-03-16 20:22:42

阅读数 260

评论数 0

Hive整合Hbase(一)

Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2...

2018-03-16 18:47:39

阅读数 1174

评论数 0

Hive安装

Hive安装 1.上传安装包 2.安装 3.配置环境 4.启动

2018-02-04 21:17:23

阅读数 2369

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭