hive
文章平均质量分 78
程序喵猴
脑袋已经排水的程序猿
展开
-
Hive11_Rank函数
计算每门学科成绩排名。原创 2024-01-04 08:19:10 · 734 阅读 · 0 评论 -
Hive10_窗口函数
普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值,而开窗函数则可为窗口中的每行都返回一个值。简单理解,就是对查询的结果多出一列,这一列可以是聚合值,也可以是排序值。开窗函数一般分为两类,聚合开窗函数和排序开窗函数。原创 2024-01-04 08:02:25 · 756 阅读 · 0 评论 -
Hive09_函数
split( “category” , “,”) -----> [ “悬疑” , “动作”, “科幻”, “剧情” ] array。果 value 为 NULL,则 NVL 函数返回 default_value 的值,否则返回 value 的值,如果两个参数。NVL:给值为 NULL 的数据赋值,它的格式是 NVL( value,default_value)。函数只接受基本数据类型,它的主要作用是将某字段的值进行去重汇总,产生 Array 类型字段。原创 2024-01-03 18:49:37 · 1301 阅读 · 0 评论 -
Hive08_分区表
分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。原创 2024-01-03 08:14:56 · 1516 阅读 · 0 评论 -
Hive07_多表查询
【代码】Hive07_多表查询。原创 2024-01-01 19:56:13 · 1253 阅读 · 0 评论 -
Hive06_基础查询
RLIKE 子句是 Hive 中这个功能的一个扩展,其可以通过 Java 的正则表达式这个更强大。查询出薪水大于 1000 的所有员工。 的语言来指定匹配条件。原创 2024-01-01 19:32:16 · 1283 阅读 · 0 评论 -
Hive05_DML 操作
(2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表。(4)overwrite:表示覆盖表中已有数据,否则表示追加。注意:Truncate 只能删除管理表,不能删除外部表中数据。(5)into table:表示加载到哪张表。(7)partition:表示上传到指定分区。(1)load data:表示加载数据。(3)inpath:表示加载数据的路径。(6)student:表示具体的表。加载数据覆盖表中已有的数据。加载 HDFS 上数据。查询表中的总数据条数。原创 2023-12-26 08:01:11 · 686 阅读 · 0 评论 -
Hive04_DDL操作
因此,使用内部表时,Hive会自动管理表的数据和元数据,而使用外部表时,则需要人工管理表的数据文件,但是可以让多个 Hive 实例共享同一个数据文件。通常情况下,如果数据只会被 Hive 使用,建议使用内部表,而如果数据需要被其他程序或服务使用,建议使用外部表。原创 2023-12-26 07:50:51 · 1608 阅读 · 0 评论 -
Hive03_数据类型
collection items terminated by ‘_’ --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)row format delimited fields terminated by ‘,’ – 列分隔符。map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符。在 hive/datas下创建info.sql,写入上面的sql语句。创建本地测试文件 hive/datas/ test.txt。执行sql文件,创建表结构。原创 2023-12-26 07:40:57 · 686 阅读 · 0 评论 -
Hive02_基本使用,常用命令
Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。原创 2023-12-25 09:18:19 · 1980 阅读 · 0 评论 -
Hive01_安装部署
上传mysql jdbc驱动到hive安装包lib下。在hdfs创建hive存储目录(如存在则不用操作)解决Hive与Hadoop之间guava版本差异。原创 2023-12-25 07:51:30 · 1135 阅读 · 0 评论