![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
@TangXin
路漫漫其修远兮,吾将上下而求索。
展开
-
HDP3.1-Kerberos用户访问Hive Shell指定队列
问题:多租户,使用Kerberos用户(例如:zhangsan,对应队列:zhangsanq)访问Hive Shell时:[root@manager93 ~]# hive执行 select * from table 正常,不报错,但是执行 select count(*) from table 或者 select * from table order by tabe.name 就一直卡着,不报错,也不执行:分析:登录Yarn 页面查看,队列指定 default,zhangsan 用户只有 队列原创 2021-03-31 10:44:25 · 418 阅读 · 0 评论 -
Trino(Presto345) on Hive知识总结及TPC-DS测试
文章目录1.PrestoSQL更名Trino2.PrestoSQL-345 与 Hive-3.1.0 的操作2.1 Presto连接Hive配置2.2 基础配置介绍2.2.1 在 Ambari 集群中操作 Hive 组件2.2.2 在 Presto 集群客户端操作2.2.3 Presto支持Hive的分区表操作2.3 优化,提高查询性能2.4 分区操作2.5 特殊列2.6 特殊表2.7 操作示例 Examples2.7.1 create schema(schema相当于MySQL中的数据库名称)2.7.2原创 2020-12-31 14:04:31 · 7266 阅读 · 18 评论 -
PrestoSQL-345集群连接Hive3.1.0
文章目录1.概述2.支持的文件类型3.Avro类型Metastore配置4.支持表类型5.配置6.操作6.1 hive6.2 Presto1.概述Presto 只使用:hive中的 data 和 metadata(hive Metastore)。不使用HiveQL或Hive执行环境的任何部分。2.支持的文件类型Hive connector 支持以下文件类型:ORCParquetAvroRCText (RCFile using ColumnarSerDe)RCBinary (RCFile原创 2020-11-17 09:34:08 · 1075 阅读 · 0 评论 -
hive-testbench完成TPC-DS测试
文章目录0.初始化配置1.生成数据2.测试脚本准备3.运行脚本3.1 准备3.2 执行sql0.初始化配置Hive 3.1.0默认开启ACID功能,且新建的内表默认是ACID表(Hive事务表)。但Spark目前还不支持Hive的ACID功能,因此无法读取ACID表的数据。为解决此问题,测试前,需对Spark及Hive进行先期配置,使Spark2.3.2能够读取Hive 3.1.0内部表。于Ambari界面修改配置如下:Spark2.3.2配置如下:修改前修改后metast原创 2020-09-17 14:50:16 · 1638 阅读 · 0 评论 -
Sqoop数据迁移(Import、Export)学习
文章目录1.概述2.启动3.导入【Import】3.1 测试Sqoop与MySQL之间的连通性3.2 将MySQL数据表导入HDFS指定目录3.3 将MySQL数据表导入Hive3.4 导入表数据子集3.5 选择导入【增量导入 --query】3.6 增量导入4.导出【Export】4.1 将HDFS目录数据导出到MySQL4.2 将hive的表数据(hdfs的文件)导出到mysql1.概述...原创 2020-03-16 18:24:11 · 486 阅读 · 0 评论 -
Hive3.1.0结合Ranger1.1.0数据脱敏(行过滤Row-level Filter、列屏蔽Column Masking)
文章目录1. 概述2. 准备示例数据2.1 数据准备2.2 导入hive库3.行过滤Row-level Filter4.列屏蔽Column Masking4.1 集群未开启Kerberos1. 概述Ranger结合Hive组件对数据进行脱敏包括:行过滤Row Filter、列屏蔽Column Masking两种方式。只对Select操作进行行列级别数据脱敏,进而实现对用户屏蔽敏感信息。...原创 2020-01-14 15:21:10 · 2192 阅读 · 0 评论 -
Hive3.1.0 load data local inpath No files matching path file
执行:load data local inpath '/home/hive/ranger_hive.txt' into table ranger_hive.ranger_hive_row_column;报错:Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path ''...原创 2020-01-14 14:12:17 · 5689 阅读 · 6 评论 -
认识Hive-分区表
分区表利用分区方式减少查询时需要扫描的数据量【前三条是与关系型数据库中不同之处】分区字段不是表中的列,数据文件中是没有对应的列分区仅仅是一个目录名查看数据时,Hive会自动添加分区列支持多级分区,多级子目录root用户在/home/hdfs/tgm/目录下新建文件a.txt创建数据表create table tgm_emp(name string,salary bi...原创 2019-01-10 14:09:11 · 262 阅读 · 0 评论 -
认识Hive-数据的导入导出
登录Hivesu hdfshive查看数据库show databases;创建数据库create database if not exists databasename;原创 2019-01-10 10:57:24 · 235 阅读 · 0 评论