Hive
文章平均质量分 66
和风与影
大数据程序员
展开
-
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-count
count原创 2022-09-05 10:18:25 · 455 阅读 · 0 评论 -
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-过滤
过滤原创 2022-09-01 16:01:57 · 600 阅读 · 0 评论 -
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-having
having原创 2022-08-30 11:15:31 · 424 阅读 · 0 评论 -
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-where
mapreduce hive原创 2022-08-29 10:34:15 · 365 阅读 · 0 评论 -
【HQL】HiveQL 列转行
上周写了个 HiveQL 的行转列,这种来一个列转行吧。没看过的可以先看之前的文章。【HQL】HiveQL 行转列今天还是用上次的结果表,将他列转行转成原来的表,不过这次多加几行。# 先定义一张表WITH order_table AS ( SELECT * FROM( SELECT '123' as user_id, '202205010001' as order_id UNION SELECT '123' as u原创 2022-05-14 14:47:50 · 306 阅读 · 0 评论 -
【Hive】GROUP BY 执行原理-大数据开发高频面试题
Hive 的执行原理是高频面试题。因为后面的调优或者数据倾斜的处理都是在对其执行原理清楚的基础上进行的。今天以 GROUP BY 为例讲解一下。1.直观的角度下表名叫 table1:idnamenumber1aaa22aaa33bbb44bbb55ccc66ddd77eee78bbb59ccc6如果执行下面的语句:SELECT nameFROM table1GROUP BY na原创 2022-05-10 23:15:45 · 696 阅读 · 0 评论 -
【HQL】HiveQL行转列
刚开始接手工作确实很难,每天加班,可能还需要一段时间适应。今天同样简单学一个知识点,数仓中经常用到的行转列。1.explodeexplode(array):将一行数组转成多列,只支持单个字段的行转列。例:SELECT explode(array(0,1,2)) as numnum0122.lateral view explodelateral view explode(array):将某列字段切分成多列,其他字段均不变。例:# 先定义一张表WITH原创 2022-05-06 15:06:24 · 525 阅读 · 0 评论 -
【HQL】Hive 编程指南
下面总结了 Hive 编程的一些初级知识。欢迎关注公众号回复 803 获取 pdf。1.Hive 的数据类型CSDN:Hive 的数据类型公众号:Hive 的数据类型2.Hive 库和表的创建、修改、删除CSDN:Hive 库和表的创建、修改、删除公众号:Hive 库和表的创建、修改、删除3.Hive 的数据装载和导出CSDN:Hive 的数据装载和导出公众号:Hive 的数据装载和导出4.Hive 的常用函数CSDN:Hive 的常用函数公众号:Hive 的常用函数5.Hiv原创 2022-05-02 15:32:15 · 824 阅读 · 0 评论 -
【HQL】Hive 调优
Hive 可以直接将 SQL 语句 转换为 MapReduce 任务,无需关注底层的细节。但是要调优 Hive,就必须知道 Hive 背后的原理才可以进行后序的调优工作。今天开始调优的学习。1.EXPLAIN了解 Hive 的查询语句如何转为 MapReduce 程序才能知道如何调优。EXPLAIN 功能可以帮助我们学习 Hive 是如何将查询转换为 MapReduce 任务的。用法是加在查询语句的前面,例如:EXPLAIN SELECT SUM(number) FROM num_tb;2.E原创 2022-05-02 14:48:51 · 483 阅读 · 0 评论 -
【HQL】Hive 设计模式
Hive 看上去和关系型数据库类似,但实际上只是使用了相似的 SQL 方言,它们的模式有很大不同。1.按天划分表数据集增长很快,可以一天一个表,表名加上时间戳。不过 Hive 中通常通过分区实现。可以按天分区,查询时通过 WHERE 选择指定的分区,提高效率。# 创建分区表CREATE TABLE supply (id INT,part STRING,quantity INT)PARTITIONED BY (INT day);# 添加分区ALTER TABLE supply add P原创 2022-05-01 13:15:01 · 214 阅读 · 0 评论 -
【HQL】HiveQL 的查询语句
今天学习 HQL 的查询语句。欢迎关注公众号回复 803 获取 Hive 编程指南。1.select from 语句以下面的表为例:# 创建分区表create table employees ( # mydb 指定了要创建表的数据库是 mydb name string, salary float, subordinates array<string>, deductions map<string, float>, address原创 2022-04-30 17:53:57 · 598 阅读 · 0 评论 -
【HQL】HiveQL 的常用函数合集
今天总结一下 Hive 的常用函数。查看函数用法:desc function extended FUNC_NAME;1.数学函数函数描述返回值round(double d)double的bigint近似值bigintround(double d, int n)保留 n 位doublefloor(double d)向下取整bigintceil(double d)ceiling(double d)向上取整bigintrand()rand(原创 2022-04-30 10:27:17 · 423 阅读 · 0 评论 -
【HQL】数据的装载和导出
今天学习在 Hive 中如何将数据装载到表中。1.向管理表中装载数据Hive 不能行级数据插入、更新、删除,只能大量装载。load data local inpath '${env:HOME}/california-employees'overwrite into table employeespartition (country='US',state='CA');如果分区目录不存在,会创建分区目录,然后将数据拷贝到该目录。overwrite 关键字会将文件夹中已经存在的数据先删除掉。没原创 2022-04-29 09:49:48 · 234 阅读 · 0 评论 -
【HQL】HiveQL 库和表的创建、修改、删除
今天学习在 Hive 中如何将数据装载到表中。1.向管理表中装载数据Hive 不能行级数据插入、更新、删除,只能大量装载。load data local inpath '${env:HOME}/california-employees'overwrite into table employeespartition (country='US',state='CA');如果分区目录不存在,会创建分区目录,然后将数据拷贝到该目录。overwrite 关键字会将文件夹中已经存在的数据先删除掉。没原创 2022-04-28 16:45:15 · 742 阅读 · 0 评论 -
【HQL】HiveQL 库和表的创建、修改、删除
今天继续学习 HiveQL。HiveQL 和 MySQL 接近,但也有差异。它不支持行级插入操作、更新操作、删除操作,不支持事务。1.Hive 中的数据库Hive 中的数据库本质上是表的目录或命名空间。常用操作:# 创建数据库create database financials;# 为了避免已经存在该数据库,可以使用create database if not exists financials;# 查看数据库show databases;# 正在表达式匹配数据库,例如查看 f原创 2022-04-28 12:05:15 · 2929 阅读 · 0 评论 -
【HQL】Hive 的数据类型
大数据开发必须会 SQL,而 Hive SQL 和 普通的 SQL 有差异。今天开始学习 HQL。在学习编程之前,首先了解 Hive 的基本数据类型。1.基本数据类型数据类型长度例子TINYINT1 byte 有符号整数20SMALINT2 byte 有符号整数20INT4 byte 有符号整数20BIGINT8 byte 有符号整数20BOOLEAN布尔类型TRUEFLOAT单精度浮点数3.14159DOUBLE双原创 2022-04-27 23:27:16 · 476 阅读 · 0 评论 -
【组件】大数据常考题之介绍一下 Hive
这是关于大数据常用组件的第二篇文章。Hive 是大数据开发的必会技能。面试中经常被问到的问题就是 Hive 是什么,或者请介绍一下 Hive,今天的文章主要对这个问题做出讲解。同样,这个问题的答案可以在官网寻找。The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Stru原创 2022-04-20 18:39:48 · 355 阅读 · 0 评论