HIVE
文章平均质量分 69
A6-母婴小店-第6分店
这个作者很懒,什么都没留下…
展开
-
Hive HA (高可用)搭建
官方文档hive的搭建方式有三种,分别是1、Local/Embedded Metastore Database (Derby)2、Remote Metastore Database3、Remote Metastore Server一般情况下,我们在学习的时候直接使用hive –service metastore的方式启动服务端,使用hive的方式直接访问登录客户端,除了这种方式之外,hive提供了hiveserver2的服务端启动方式,提供了beeline和jdbc的支持,并且官网也提出原创 2021-07-04 10:02:36 · 1026 阅读 · 0 评论 -
Hive 练习二--基站掉话率TOP10统计
给定一定的测试数据如下,统计其中掉话率前十的基站record_time imei cell ph_num call_num drop_num duration drop_rate net_type erl 2011-07-13 00:00:00+08 356966 29448-37062 0 0 0 0 0 G 0 2011-07-13 00:00:00+08 352024 2原创 2021-07-03 20:52:12 · 249 阅读 · 0 评论 -
Hive 优化(通用版)
hive优化Hive 优化核心思想:把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行:select仅查询本表字段where仅对本表字段做条件过滤Explain 显示执行计划:EXPLAIN [EXTENDED] queryhive> explain extended select * from student;OKExplainSTAGE DEPENDENCIES: ...原创 2021-07-03 10:33:25 · 737 阅读 · 0 评论 -
Hive Lateral View & 视图 & 索引
Hive Lateral View1、Lateral View用于和UDTF函数(explode、split)结合来使用2、首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表3、主要解决在select使用UDTF做查询过程中,查询只能包含单个UDTF,不能包含其他字段、以及多个UDTF的问题4、语法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)Hive...原创 2021-07-01 22:33:46 · 339 阅读 · 2 评论 -
Hive 权限管理
官方页面Hive 三种授权模型: 1、Storage Based Authorization in the Metastore Server :基于存储的授权 - 可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制(例如:列级别、行级别) 2、SQL Standards Based Authorization in HiveServer2 :基于SQL标准的Hive授权 - 完全兼容SQL的授权模型,推荐使用该模式...原创 2021-06-30 23:17:49 · 2311 阅读 · 0 评论 -
Hive运行方式&GUI接口
Hive运行方式:1、命令行方式cli(控制台模式) 2、脚本运行方式(生产环境主要使用这种模式) 3、JDBC方式:hiveserver2 4、Web Gui 接口(hwi、hue等)命令行(控制台模式),可以与hdfs交互--通过执行dfs 命令、与Linux交互-- 使用!开头1、与hdfs交互hive> dfs -cat /user/hive/warehouse/bucket_sample/000001...原创 2021-06-29 23:20:09 · 302 阅读 · 0 评论 -
Hive 分桶
Hive分桶官方文档分桶适用场景:抽样概念: 1、分桶表是对列值取哈希值的方式,将不同数据放到不同文件中存储2、对于hive中每一个表、分区都可以进一步进行分桶3、由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中使用方式: 开启分桶支持:set hive.enforce.bucketing=true; 【默认:false;设置为true之后,mr运行时会根据bucket的个数自动分配reduce task...原创 2021-06-28 23:54:44 · 352 阅读 · 3 评论 -
Hive 参数
hive 参数、变量:hive中的参数、变量都是以命名空间开头 命名空间 读写权限 含义 hiveconf 可读写 hive-site.xml当中的各配置变量 例:hive --hiveconf hive.cli.print.header=true system 可读写 系统变量,包含JVM运行参数等 例:sys原创 2021-06-27 22:46:33 · 361 阅读 · 1 评论 -
Hive 练习一 单词统计、建表复合数据类型struct
1、复合数据类型struct,struct内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a String; b int},我们可以通过c.a来访问域a语法:struct_type : STRUCT < col_name : data_type [COMMENT col_comment], ...>1、准备测试数据[root@node04 data]# cd /opt/software/data/[root@node04 data]# vi s原创 2021-06-27 16:32:57 · 160 阅读 · 0 评论 -
Hive 函数
hive 内置操作符和函数或者 UDF一、内置运算符1、关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败,因为无效的语法。 SQL使用”=”,不使用”==”。 A <> B 所有原始类.原创 2021-06-27 11:44:14 · 71 阅读 · 0 评论 -
Hive 客户端 Beeline 、IDEA|Eclipse使用JDBC连接hiveserver2
1、BelineBeeline 要与HiveServer2配合使用服务端启动hiveserver2客户的通过beeline两种方式连接到hive a、beeline -u jdbc:hive2://localhost:10000/default -n root b、beeline> !connect jdbc:hive2://:/<db>;auth=noSasl ...原创 2021-06-26 23:37:31 · 604 阅读 · 0 评论 -
Hive DML、SerDe
Hive DML1、加载文件到数据表,当使用LOCAL时是拷贝,使用HDFS上文件时时移动(原有数据会被删除)LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITIO原创 2021-06-26 18:02:50 · 101 阅读 · 0 评论 -
Hive 分区--静态分区、动态分区
Hive分区1、Hive 分区 partition:必须在表定义的时候指定对应的partition字段 单分区建表语句:create table day_table (id int, content string) partitioned by (dt string); 单分区表,按天分区,在表结构中存在id,content,dt三列 以dt为文件...原创 2021-06-26 12:29:44 · 1767 阅读 · 2 评论 -
Hive DDL操作
1、hive数据组成:Databases、Tables、Partitions、Buckets(orClusters) fei'q原创 2021-06-16 22:37:55 · 174 阅读 · 3 评论 -
Hive 多节点搭建(Remote Metastore Server)
1、在上一篇的基础之上继续:hive单节点搭建原创 2021-06-14 16:54:26 · 616 阅读 · 2 评论 -
Linux 下Hive 安装(Remote Metastore Database 单节点)
1、Linux下安装好mysql:Linux 下Mysql 安装原创 2021-06-14 16:14:22 · 277 阅读 · 0 评论