- 博客(7)
- 收藏
- 关注
RSS订阅原创 hive视图与索引
视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中的过滤器推送到视图中。在指定列上建立索引，会产生一张索引表（表结构如下），里面的字段包括：索引列的值、该值对应的 HDFS 文件路径、该值在文件中的偏移量。删除视图时，如果被删除的视图被其他视图所引用，这时候程序不会发出警告，但是引用该视图其他视图已经失效，需要进行重建或者删除。如果存在索引的表被删除了，其对应的索引和索引表都会被删除。
2024-06-06 16:07:17
683
原创 hive元数据
/指定Hive表的数据的存储位置，一般在数据已经上传到HDFS(也就是在目录已经存在，指定一下位置指向这个目录)，想要直接使用，会指定Location，通常Location会跟外部表（external）一起使用，内部表一般使用默认的location。location '/data/hive' // 可选， 指定Hive表的数据的存储位置，通常跟外部表一起使用。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。
2024-05-27 10:08:39
401
原创 数仓学习第二天（hive入门）
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类sQL查询功能。
2024-05-27 10:07:33
251
原创 数仓学习第三天（数据的存储格式）
sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用insert导入sequencefile、rcfile、orcfile表中。Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。TEXTFILE、SEQUENCEFILE 的存储格式是基于行存储的；行式存储下一张表的数据都是放在一起的，但列式存储下数据被分开保存了。
2024-05-27 10:07:21
130
原创 hive函数
Hive中的内置函数，比较简单，用到的时候可以在官网进行查询，虽然有很多内置的函数，但是生产上肯定不够那么全面，所有，用户需要自定义函数来满足自身的求。注意：执行这条语句创建永久函数，show functiuons 会加上默认的数据库名在函数名前。创建一个HelloUdf类继承UDF，并且重写evaluate方法。在Hive中给我们内置了很多函数官方地址。5 在MySQL中查询创建的自定义函数。（作者使用的IDEA进行开发的）把jar包上传到hdfs上。1 Hive的内置函数。2 Hive自定义函数。
2024-05-27 10:06:23
731
原创 hive高级操作
比如有一个 ARRAY 类型的变量 fruits，它是由['apple','orange','mango']组成，那么我们可以通过 fruits[1]来访问元素 orange，因为 ARRAY 类型的下标是从 0 开始的。1.字段 name 是基本类型，favors 是数组类型，可以保存很多爱好，scores 是映射类型，可以保存多个课程的成绩，address 是结构类型，可以存储住址信息。3.视图在创建时候，只是保存了一份元数据，当查询视图的时候，才开始执行视图对应的那些子查询。
2024-05-27 10:05:35
1408
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人