![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 63
Running_Tiger
这个作者很懒,什么都没留下…
展开
-
Hive安装
Hive安装 1.上传安装包 2.安装 3.配置环境 4.启动原创 2018-02-04 21:17:23 · 2477 阅读 · 0 评论 -
Hive整合Hbase(一)
Hive整合Hbase(一) 1、简介 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 1、将ETL操作的数据存入HBase 2、HBase作为Hive的数据源 3、构建低延时的数据仓库 3、环境准备 3.1...原创 2018-03-16 18:47:39 · 2033 阅读 · 2 评论 -
Hive整合Hbase(二)
Hive整合Hbase实战1、hbase表映射到hive表中 1、在hbase中创建表:表名hbase_test, 有三个列族 f1、f2、f3 create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1},{NAME => 'f3',VERSIONS => 1} 2、插入数据 put 'hbase_tes原创 2018-03-16 20:22:42 · 498 阅读 · 0 评论 -
Hive行列转换
Hive行列转换1、行转列 (根据主键,进行多行合并一列)使用函数:concat_ws(‘,’,collect_set(column)) collect_list 不去重 collect_set 去重 column 的数据类型要求是 string 1.1、构建测试数据vi row_to_col.txta b 1 a b 2 a b 3 c d 4 c原创 2018-04-14 20:12:38 · 7171 阅读 · 0 评论 -
Hive时间函数
Hive时间函数 1、unix_timestamp() 返回当前时区的unix时间戳 返回类型:bigint hive> select unix_timestamp() from hive_sum limit 1; 1465875016 2、from_unixtime(bigint unixtime[,string format]) 时间戳转日期函数 返回类型:strin...原创 2018-09-09 21:47:16 · 622 阅读 · 0 评论 -
Hive的distinct和group by性能比较
Hive的distinct和group by性能比较 Hive去重统计 当一个表的数据量非常大的时候,会发现一个简单的count(distinct order_no)这种语句跑的特别慢,和直接运行count(order_no)的时间差了很多。 在能使用group by代替distinc就不要使用distinct 验证 order_snap为订单的快照表 总记录条数763191489,即...原创 2018-10-26 00:56:56 · 8434 阅读 · 0 评论