Hive
文章平均质量分 92
XK&RM
这个作者很懒,什么都没留下…
展开
-
Hive--桶表
目录1. 为什么要使用桶表???2. 桶表分桶规则3. 桶表的创建3.1 DLL3.2 数据3.3 DML3.4 查看桶表里面的数据3.5 临时表创建并加载数据3.6 把临时表的数据加载到桶表里面4. 桶表的查询4.1 桶表查询全表的数据4.2 桶表查看第一个桶里面的数据4.3 查看第二个桶里面的数据4.4 查看第三个桶里面的数据4.5 查看桶表固定行数据4.6 桶表查询语法4.7 其他查询5 桶表、分区表的区别6 两个桶表之间的Join6.1 year 桶表创建并加载数据6.2 两个桶表Join1. 为原创 2021-01-13 18:07:30 · 1734 阅读 · 0 评论 -
Hive--执行计划、数据倾斜解决方案
Hive–执行计划、数据倾斜解决方案1 Hive–执行计划未完待续。。。。原创 2020-12-18 11:36:14 · 516 阅读 · 0 评论 -
Hive--函数、窗口函数
Hive–函数、窗口函数目录Hive--函数、窗口函数1 Hive--函数1.1 Hive 常用函数1.1.1 判空函数:nvl1.2 concat/concat_ws1.3 case when/if1.4 Hive--WC1.5 Hive--列转行1.6 Hive--行转列2 Hive--窗口函数2.1 LEAD/LAG2.2 FIRST_VALUE/LAST_VALUE2.3 COUNT、SUM、MIN、MAX、AVG2.4 RANK、ROW_NUMBER、DENSE_RANK、CUME_DIST、P原创 2020-12-18 11:29:58 · 518 阅读 · 0 评论 -
Hive--参数优化、Map、Reduce Task个数优化
Hive--优化Hive中的执行引擎目前支持:MapReduce、Spark、Tez 本文设定的执行引擎为MapReduce1 Hive--参数优化Hive官网--参数1.1 hive.fetch.task.conversionDefault Value: minimal in Hive 0.10.0 through 0.13.1, more in Hive 0.14.0 and la...原创 2020-12-16 14:31:11 · 1796 阅读 · 0 评论 -
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序以下所说的都是针对 Hive 为 1.1.0-cdh5.16.2版本1 Hive--HiveServer2 命令行代码连接1.1 配置HiveServer2 WEB 参数HiveServer2是一个服务端,开启之后可以通过JDBC连接 还对应一个WEB服务,开启WEB服务可以看到当前有哪些Session进行连接,以及执行了哪些语句等详细信息 开启H...原创 2020-12-15 20:17:54 · 1489 阅读 · 0 评论 -
HIVE总结
HIVE总结一.HIVE的背景数据存储在HDFS(分布式存储框架),举个简单的例子,如果需要在HDFS上面做个WC(wordcount),都需要经过mr(mapreduce),如果数据量过多,mr的job会花费大量的时间,但是对于熟悉SQL的人来说,其实...原创 2020-04-22 17:03:50 · 190 阅读 · 0 评论 -
配置DBeaver连接HIVE
配置deaver连接HIVE1.开启HIVE service2 服务[hadoop@xkhadoop bin]$ ./hiveserver2 which: no hbase in (/home/hadoop/app/hive/bin:/usr/bin/java/bin:/home/hadoop/app/hadoop/bin...原创 2020-01-05 13:40:42 · 452 阅读 · 0 评论 -
HIVE--DDL
HIVE--DDL一.DDL概念介绍DDL:数据库模式定义语言DDL(Data Definition Language),是用于描述数据库中要存储的现实世界实体的语言。我个人理解DDL就是对表的Metadata(元数据)操作的语言HIVE官方的是DDL地址:https://cwiki.apa...原创 2019-12-26 23:47:24 · 144 阅读 · 0 评论 -
初识HIVE
初识HIVE前言: 之前虽然了解HIVE,但是也只是在hql层面上的了解,于是重新学习一下HIVE,把自己的一些心得和常用笔记整理到博客里面一.HIVE的背景 数据存储在HDFS(分布式存储框架),举个简单的例子,如果需要在HDFS上面做个WC(wordcount...原创 2019-12-16 22:47:50 · 143 阅读 · 0 评论 -
hive-1.1.0-cdh5.16.2部署
hive-1.1.0-cdh5.16.2部署一.下载 [hadoop@xkhadoop app]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz从cloudera公司给的地址下载二.解压和配置文件[ha...原创 2019-12-16 21:05:22 · 679 阅读 · 1 评论 -
Hive部署
Hive环境搭建[xkhadoop@xkhadoop software]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz[xkhadoop@xkhadoop software]$ tar -xzvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app1) 添加HIVE_...原创 2019-04-03 17:12:47 · 92 阅读 · 0 评论