Hive
勤言不勤语
走走看看,停停想想。
展开
-
【Hive】Hive 优化小结
文章目录一、简述二、表设计层面优化2.1、利用分区表优化2.2、利用桶表优化2.3、选择合适的文件存储格式2.4、选择合适的压缩方式三、分阶段优化3.1、map 阶段优化3.2、reduce 阶段优化四、 SQL 语法优化4.1、列裁剪4.2、分区裁剪4.3、Join优化4.3.1、使用相同的连接键4.3.2、小表 join 大表原则4.3.3、启用 mapjoin4.3.4、桶表 mapjoin...转载 2019-12-19 18:48:14 · 321 阅读 · 0 评论 -
【Hive】Hive 整合映射 HBase
文章目录## 一、前言二、适用场景三、依赖条件四、具体使用4.1、Hive 表映射到 Hbase 中4.2、HBase 表映射到 Hive 表中4.3、Hive Map 类型在 HBase 中的映射4.4、 使用 Hive 集成 HBase 表的需注意五、来源## 一、前言HBase 只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询,对于数据分析来说,不太友好。hive ...原创 2019-11-13 15:07:16 · 854 阅读 · 0 评论 -
【Hive】Hive 建表语句详解
文章目录一、hql 建表语法格式二、参数说明三、创建表的三种方式3.1、 使用 create 命令3.2、 create table ...as select..(CTAS)3.3、 使用 like 创建相同结构的表一、hql 建表语法格式hql不区分大小写,[]里的属性是可选属性。 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name ...原创 2019-11-08 14:49:08 · 1851 阅读 · 0 评论 -
【Hive】Hive 2.3.4 安装
文章目录一、前期工作二、下载安装2.1、下载2.2、安装2.3、设置环境变量三、 创建 hive 所要的 hdfs 目录四、修改 hive 所需配置4.1、配置文件 hive.site.xml4.2、创建及配置 Mysql4.2.1、创建 Hive 数据库4.2.2、配置 Hive 数据库4.2.3、拷贝 JDBC 驱动包4.2.4、初始化 Hive 数据库4.3、 配置文件 hive-env.s...原创 2019-11-07 17:44:05 · 977 阅读 · 0 评论 -
【Hive】Hive Join 介绍
文章目录一、Join二、Join 类型2.1、INNER JOIN 内连接2.2、LEFT OUTER JOIN 左外连接2.3、RIGHT OUTER JOIN 右外连接2.4、FULL OUTER JOIN 全外连接2.5、LEFT SEMI JOIN 左半开连接2.6、JOIN笛卡尔积三、Join 的实现原理3.1、Common Join3.2、Map Join四、Join 优化4.1、BU...原创 2019-08-13 16:51:12 · 1076 阅读 · 0 评论 -
【Hive】Hive UDF
文章目录一、UDF 介绍二、UDF2.1、简单 UDF2.2、复杂 GenericUDF三、UDAF3.1、AbstractGenericUDAFResolver3.2、GenericUDAFEvaluator3.3、GenericUDAFEvaluator 的方法3.4、图解Model与Evaluator关系3.5、编码实例四、UDTF五、UDF 使用5.1、准备步骤5.2、临时添加 UDF5....原创 2019-08-15 16:25:43 · 3367 阅读 · 0 评论