Hive
文章平均质量分 83
干就完事了
Kafka_Hive_Flink
种一颗树最好的时间是十年前,其次是现在
展开
-
【常用操作】Hive权限控制
说明认证(authentication):验证用户所用的身份是否是对的授权(authorization):验证用户所用身份操作是否有权限目前hive(版本0.12.0)支持简单的权限管理,默认情况下是不开启,这样所有的用户都具有相同的权限,同时也是超级管理员,也就对hive中的所有表都有查看和改动的权利,这样是不符合一般数据仓库的安全原则的。Hive可以是基于元数据的权限管理,也可以基于文件存储级别的权限管理,此次以介绍MetaData权限管理为主。通过以下配置开启Hive身份认证功能进行原创 2021-08-29 13:08:07 · 1235 阅读 · 0 评论 -
【常用操作】高阶聚合函数
⌘ 总结cube的分组组合最全,是各个维度值的笛卡尔(包含null)组合;rollup的各维度组合应满足,前一维度为null后一位维度必须为null,前一维度取非null时,下一维度随意;grouping sets则为自定义维度,根据需要分组即可。PS:通过grouping sets的使用可以简化SQL,比group by单维度进行union all性能更好。⌘ 数据准备⌘⌘ 表结构CREATE TABLE test (f1 string, f2 st原创 2021-08-29 12:48:39 · 416 阅读 · 0 评论 -
【Hive】公司数据仓库字典/元数据库应用案例
文章目录⌘ 常用SQL应用案例:数据仓库授权信息字典表-- 通过字段名注释找表名-- 查询指定库中的分区表-- 查询指定库中某种存储类型的分区表⌘ 元数据库常用表-- DBS-- TBLS-- TABLE_PARAMS-- TBL_PRIVS-- COLUMNS_V2-- SDS-- SD_PARAMS:-- PARTITIONS-- PARTITION_KEYS-- PARTITION_PARAMS-- VERSION⌘ 常用SQL应用案例:常用表的ER图如下:数据仓库授权信息字典表– 通过字段原创 2020-11-27 00:26:18 · 1050 阅读 · 0 评论 -
【Hive】深入理解Hive的优缺点以及架构原理
文章目录一、 什么是Hive二、 Hive的优缺点2.1 优点2.2 缺点三、 Hive架构原理3.1 用户接口:Client3.2 元数据:Metastore3.3 结合Hadoop3.4 驱动器:Driver四、 Hive和数据库比较4.1 查询语言4.2 数据更新4.3 执行延迟4.4 数据规模一、 什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序:(1)Hive处理的数据存储在原创 2020-11-16 21:10:14 · 6433 阅读 · 8 评论 -
【Hive】临时修改Hive计算引擎与Yarn队列
配置mapreduce计算引擎set hive.execution.engine=mr;set hive.execution.engine=spark;set hive.execution.engine=tez;原创 2020-04-27 12:38:00 · 797 阅读 · 0 评论