HQL
文章平均质量分 69
和风与影
大数据程序员
展开
-
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-distinct
distinct原创 2022-08-31 09:45:21 · 345 阅读 · 0 评论 -
【HQL】HiveQL 列转行
上周写了个 HiveQL 的行转列,这种来一个列转行吧。没看过的可以先看之前的文章。【HQL】HiveQL 行转列今天还是用上次的结果表,将他列转行转成原来的表,不过这次多加几行。# 先定义一张表WITH order_table AS ( SELECT * FROM( SELECT '123' as user_id, '202205010001' as order_id UNION SELECT '123' as u原创 2022-05-14 14:47:50 · 306 阅读 · 0 评论 -
【HQL】HiveQL行转列
刚开始接手工作确实很难,每天加班,可能还需要一段时间适应。今天同样简单学一个知识点,数仓中经常用到的行转列。1.explodeexplode(array):将一行数组转成多列,只支持单个字段的行转列。例:SELECT explode(array(0,1,2)) as numnum0122.lateral view explodelateral view explode(array):将某列字段切分成多列,其他字段均不变。例:# 先定义一张表WITH原创 2022-05-06 15:06:24 · 525 阅读 · 0 评论 -
【HQL】Hive 编程指南
下面总结了 Hive 编程的一些初级知识。欢迎关注公众号回复 803 获取 pdf。1.Hive 的数据类型CSDN:Hive 的数据类型公众号:Hive 的数据类型2.Hive 库和表的创建、修改、删除CSDN:Hive 库和表的创建、修改、删除公众号:Hive 库和表的创建、修改、删除3.Hive 的数据装载和导出CSDN:Hive 的数据装载和导出公众号:Hive 的数据装载和导出4.Hive 的常用函数CSDN:Hive 的常用函数公众号:Hive 的常用函数5.Hiv原创 2022-05-02 15:32:15 · 824 阅读 · 0 评论 -
【HQL】Hive 调优
Hive 可以直接将 SQL 语句 转换为 MapReduce 任务,无需关注底层的细节。但是要调优 Hive,就必须知道 Hive 背后的原理才可以进行后序的调优工作。今天开始调优的学习。1.EXPLAIN了解 Hive 的查询语句如何转为 MapReduce 程序才能知道如何调优。EXPLAIN 功能可以帮助我们学习 Hive 是如何将查询转换为 MapReduce 任务的。用法是加在查询语句的前面,例如:EXPLAIN SELECT SUM(number) FROM num_tb;2.E原创 2022-05-02 14:48:51 · 483 阅读 · 0 评论 -
【HQL】Hive 设计模式
Hive 看上去和关系型数据库类似,但实际上只是使用了相似的 SQL 方言,它们的模式有很大不同。1.按天划分表数据集增长很快,可以一天一个表,表名加上时间戳。不过 Hive 中通常通过分区实现。可以按天分区,查询时通过 WHERE 选择指定的分区,提高效率。# 创建分区表CREATE TABLE supply (id INT,part STRING,quantity INT)PARTITIONED BY (INT day);# 添加分区ALTER TABLE supply add P原创 2022-05-01 13:15:01 · 214 阅读 · 0 评论 -
【HQL】HiveQL 的查询语句
今天学习 HQL 的查询语句。欢迎关注公众号回复 803 获取 Hive 编程指南。1.select from 语句以下面的表为例:# 创建分区表create table employees ( # mydb 指定了要创建表的数据库是 mydb name string, salary float, subordinates array<string>, deductions map<string, float>, address原创 2022-04-30 17:53:57 · 598 阅读 · 0 评论 -
【HQL】HiveQL 的常用函数合集
今天总结一下 Hive 的常用函数。查看函数用法:desc function extended FUNC_NAME;1.数学函数函数描述返回值round(double d)double的bigint近似值bigintround(double d, int n)保留 n 位doublefloor(double d)向下取整bigintceil(double d)ceiling(double d)向上取整bigintrand()rand(原创 2022-04-30 10:27:17 · 423 阅读 · 0 评论 -
【HQL】数据的装载和导出
今天学习在 Hive 中如何将数据装载到表中。1.向管理表中装载数据Hive 不能行级数据插入、更新、删除,只能大量装载。load data local inpath '${env:HOME}/california-employees'overwrite into table employeespartition (country='US',state='CA');如果分区目录不存在,会创建分区目录,然后将数据拷贝到该目录。overwrite 关键字会将文件夹中已经存在的数据先删除掉。没原创 2022-04-29 09:49:48 · 234 阅读 · 0 评论 -
【HQL】HiveQL 库和表的创建、修改、删除
今天学习在 Hive 中如何将数据装载到表中。1.向管理表中装载数据Hive 不能行级数据插入、更新、删除,只能大量装载。load data local inpath '${env:HOME}/california-employees'overwrite into table employeespartition (country='US',state='CA');如果分区目录不存在,会创建分区目录,然后将数据拷贝到该目录。overwrite 关键字会将文件夹中已经存在的数据先删除掉。没原创 2022-04-28 16:45:15 · 742 阅读 · 0 评论 -
【HQL】Hive 的数据类型
大数据开发必须会 SQL,而 Hive SQL 和 普通的 SQL 有差异。今天开始学习 HQL。在学习编程之前,首先了解 Hive 的基本数据类型。1.基本数据类型数据类型长度例子TINYINT1 byte 有符号整数20SMALINT2 byte 有符号整数20INT4 byte 有符号整数20BIGINT8 byte 有符号整数20BOOLEAN布尔类型TRUEFLOAT单精度浮点数3.14159DOUBLE双原创 2022-04-27 23:27:16 · 476 阅读 · 0 评论