★★Hive
HiveSql相关
维格堂406小队
人天生都是软弱的,唯其软弱而犹能承担起苦难,才显出人的尊严。
展开
-
Hive12---日期时间函数的操作
时间函数的一些操作,记录之。备查。原创 2023-07-26 15:11:23 · 186 阅读 · 0 评论 -
Hive11---解析json
解析json数组的一些操作~做个笔记,备查。原创 2022-11-26 15:50:35 · 486 阅读 · 0 评论 -
Hive10---explode拆分多行
Intro hive explode操作import pysparkfrom pyspark.sql import SparkSession# 创建SparkSession对象,调用.builder类# .appName("testapp")方法给应用程序一个名字;.getOrCreate()方法创建或着获取一个已经创建的SparkSessionspark = SparkSession.builder.appName("pysaprk").getOrCreate()import pys原创 2022-04-25 15:14:53 · 1573 阅读 · 0 评论 -
Hive09---字符串拼接,转json等
Intro 常用hive字符串拼接函数,转json等操作import pysparkfrom pyspark.sql import SparkSession# 创建SparkSession对象,调用.builder类# .appName("testapp")方法给应用程序一个名字;.getOrCreate()方法创建或着获取一个已经创建的SparkSessionspark = SparkSession.builder.appName("pysaprk").getOrCreate()im原创 2022-02-16 13:51:02 · 6372 阅读 · 0 评论 -
Hive08---插入数据
分区表插入一条数据至指定分区表INSERT INTO test_db.table1 PARTITION(ds='20210922') VALUES ('123', 'abc')Ref[1] https://dwgeek.com/hive-insert-into-partition-table-and-examples.html/原创 2022-04-25 15:12:59 · 1700 阅读 · 0 评论 -
Hive07---新增列和变换列位置
需求很简单,新增一列,并且把新增的这一列放在某一列后面。--- 新增一列,列名为c_time3alter table ml.test add columns (c_time3 string comment '当前时间'); --- 把c_time3放在city_id后面alter table ml.test change c_time3 c_time3 string after city_id;原创 2020-10-15 18:41:06 · 310 阅读 · 0 评论 -
Hive06---内部表和外部表
简单记录下查看内部表外部表的方法。外部表不是由自己管理数据,删除时,仅仅删除外部表的元数据,数据本身不删除内部表删除时,元数据和数据均删除查看表是否为外部表,可以用如下语句:describe formatted tableA;Table Type是MANAGED_TABLE,则为内部表EXTERNAL_TABLE则为外部表 2020-10-26 于南京市江宁区九龙湖...原创 2020-10-26 11:47:36 · 151 阅读 · 0 评论 -
Hive05---操作分区表
记录常用的分区表操作:查看分区删除分区插入分区数据查看分区show partitions tmp.order;删除分区ALTER TABLE tmp.order DROP IF EXISTS PARTITION (dt='20200520');复写分区INSERT overwrite TABLE tmp.order partition (dt) SELECT *FROM tmp.order_testWHERE dt>=20200101 and dt<=20200原创 2020-08-28 17:36:22 · 137 阅读 · 0 评论 -
Hive04---hive中数据的导入&导出
1. HIVE数据的导入。1.1 图形化平台的导入。 hue平台可以支持手动导入,不提~ 1.2 代码方式导入。LOAD DATA LOCAL INPATH '文件路径' [OVERWRITE] INTO TABLE tablename 2. HIVE数据的导出。INSERT OVERWRITE LOCAL DIRECTORY '\home\' ROW FO...原创 2019-12-15 00:47:45 · 115 阅读 · 0 评论 -
Hive03---Hive中的Grouping Sets用法
统计报表中,通常会有多个维度组合,对应一个指标的情况,如指标-DAU,维度可能是{(APP),(APP、终端),(APP、版本号)}等等。如果每一种维度组合都建一张表,开发需要维护多个结果表,增加开发成本;也可以把不同的维度组合UNION ALL,这样ETL的脚本比较臃肿。Grouping Sets可以解决这个问题。 假设有一张用户埋点日志表:appappverformos...原创 2019-08-20 10:37:44 · 386 阅读 · 0 评论 -
Hive02---Hive中的with用法
原理不多少,直接上用法。WITH (SELECT * FROM Table1) as t1(SELECT * FROM Table2) as t2SELECT t1.*FROM t1LEFT JOIN t2 ON t1.id=t2.id原创 2019-09-18 17:24:36 · 2451 阅读 · 0 评论 -
Hive01---分组排序{row_number,rank,dense_rank}
分组排序常用的是row_number函数,hive中可以使用,但是mysql里没有这个函数。row_number不能满足分组排序的所有场景,比如处理秩。因此,可以考虑其他函数。Talk is cheap,Show me the code。 建立临时表 新建临时表,插入测试数据。 -- create tabel and insert test dataDROP TAB...原创 2018-06-13 15:23:14 · 550 阅读 · 0 评论 -
【Hive】- Note Of Hive Sql
1. 求累计频数SELECT ioverduedays, sum(overdue_num) AS overdue_num, SUM(SUM(overdue_num)) OVER ( ORDER BY ioverduedays ROWS BETWEEN UNBOUNDED PRECEDING A...原创 2018-05-29 15:59:41 · 219 阅读 · 0 评论