![](https://img-blog.csdnimg.cn/20200902132333337.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据仓库Hive
Hive
plenilune-望月
这个作者很懒,什么都没留下…
展开
-
Hive(十) Hive 优化
Hive 优化关闭 hive 服务器和客户端,node3:hive --service metastoreNode4:hive1 Fetch 抓取set hive.fetch.task.conversion=none/more(默认值);默认做了优化,以下两种情况都不经过 mr,改为 none 后,将走 mr。以下 SQL 不会转为 Mapreduce 来执行1. select 仅查询本表字段select id,name from person;2. where 仅对本表原创 2020-09-24 11:57:18 · 272 阅读 · 0 评论 -
Hive(九) Hive 权限
Hive 权限https://cwiki.apache.org/confluence/display/Hive/LanguageManual+AuthorizationIntroductionNote that this documentation is referring to Authorization which is verifying if a user has permission to perform a certain action, and not about Authenti原创 2020-09-24 11:14:53 · 1178 阅读 · 0 评论 -
Hive(八) Hive 运行方式
Hive 运行方式1. 命令行方式 cli:控制台模式 !!2. 脚本运行方式(实际生产环境中用最多)!!!3. JDBC 方式:hiveserver2 !!!4. web GUI 接口 (hwi、hue 等)1 命令行方式 cli:控制台模式与 hdfs 交互:(了解)执行执行 dfs 命令dfs –ls /; dfs -cat /user/hive_remote/warehouse/person/person01.txt; 与 Linux 交互!开头!p原创 2020-09-24 10:59:21 · 339 阅读 · 0 评论 -
Hive(七) Hive Lateral View、视图与索引
1 Hive Lateral View、视图与索引1.1Hive Lateral ViewLateral View 用于和 UDTF 函数(explode、split)结合来使用。 首先通过 UDTF 函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表。 主要解决在 select 使用 UDTF 做查询过程中,查询只能包含单个 UDTF,不能包含其他字段、以及多个 UDTF 的问题 语法:LATERAL VIEW udtf(expression) tableAlias AS column原创 2020-09-24 10:10:07 · 180 阅读 · 0 评论 -
Hive(六) Hive 分桶
1 hive 分桶概述分桶表是对列值取哈希值的方式,将不同数据放到不同文件中存储。对于 hive 中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景:对比 MR 的 HashPartition数据抽样( sampling )2 开启支持分桶set hive.enforce.bucketing=true;默认:false;设置为 true 之后,mr 运行时会根据 bucket 的个数自动分配 reduce task 个原创 2020-09-22 16:05:13 · 372 阅读 · 0 评论 -
Hive(五) Hive参数与动态分区
Hive 参数与动态分区1Hive 参数1.1 hive 当中的参数、变量,都是以命名空间开头通过${}方式进行引用,其中 system、env 下的变量必须以前缀开头。1.2 hive 参数设置方式1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml2、启动 hive cli 时,通过--hiveconf key=value 的方式进行设置例:hive --hiveconf hive.cli.print.header=true3、进入 cl.原创 2020-09-22 15:51:48 · 432 阅读 · 0 评论 -
Hive(四) Hive案例实战(实现struct 、统计基站掉话率、hive 实现 wordcount)
1 实现 struct 例子创建 student 表create table student( id int, info struct<name:string,age:int> ) row format delimited fields terminated by ',' collection items terminated by ':'; 向这个 student 表中插入数据[root@node4 data]# vim stu.txt原创 2020-09-22 15:23:47 · 427 阅读 · 0 评论 -
Hive(三) Hive的运算符和函数
1 Hive 运算符和函数https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF创建类似 oracle 数据库的虚拟表 dual,便于测试:create table dual(id string); insert into dual values(" "); select * from dual; +----------+--+ | dual.id | +----------+--+原创 2020-09-22 11:20:07 · 5211 阅读 · 0 评论 -
Hive(二) Hive SQL
Hive SQL3.1数据库实例操作https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL3.2Hive 数据类型data_type : primitive_type | array_type 数组 | map_type 键值对 | struct_type 结构体类型(比如只有属性没有方法的类) | union_type -- (N...原创 2020-09-21 00:30:58 · 722 阅读 · 0 评论 -
Hive(一) Hive概述、三种方式搭建和区别
1 Hive 概述1.1 Hive 简介http://hive.apache.org/Apache Hive 数据仓库软件方便了使用 SQL 读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供命令行工具和 JDBC 驱动程序将用户连接到 Hive。Hive 产生的原因:非 java 编程者通过 SQL 语句对 hdfs 的数据做 mapreduce 操作。 对比项 Hive 关系型数据库原创 2020-09-20 15:59:25 · 977 阅读 · 0 评论