![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
文章平均质量分 95
镜子里的宇宙
这个作者很懒,什么都没留下…
展开
-
Hive 优化
Hive 优化并行优化小文件优化矢量化查询读取零拷贝优化数据倾斜优化JOIN的时候的倾斜方案一方案二方式1:运行时判断方式2:编译时判断Union优化GROUP BY分组统计的倾斜处理优化1:优化2:MapReduce迭代计算的概念(补充)MapReduce的计算模型MR的迭代Hive优化小总结 并行优化 并行编译 Hive默认情况下,只能同时编译一个SQL到MapReduce代码的转换,并对这个过程上锁。 为了提高效率,同时减少死锁发生的可能性,我们需要将这个一次只能编译一个的操作,优化为并行执行。原创 2021-01-11 16:49:13 · 446 阅读 · 0 评论 -
Hive 基本操作 Shell参数
基本操作数据库基本操作数据库表基本操作管理表外部表分区表分桶表修改表hive表中加载数据hive表中的数据导出hive查询语法select常用函数LIMIT语句WHERE语句 数据库基本操作 创建数据库 create database if not exists 数据库名; use 数据库名; 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse.dir</name> <val原创 2020-11-25 08:05:22 · 556 阅读 · 0 评论 -
Hive常用运算和函数
hive 常用运算和函数关系运算逻辑运算与数学运算数值运算日期函数条件函数字符串函数 关系运算 Hive支持的关系运算符: •常见的关系运算符 •等值比较: = •不等值比较: <> •小于比较: < •小于等于比较: <= •大于比较: > •大于等于比较: >= •空值判断: IS NULL •非空判断: IS NOT NULL •LIKE比较: LIKE •JAVA的LIKE操作: RLIKE •REGEXP操作: REGEXP •等值比较: = 语法:A=B 操作原创 2020-11-23 21:21:59 · 422 阅读 · 0 评论 -
Hive 安装部署 交互使用方式
Hive安装使用mysql共享hive元数据 安装 解压hive cd /export/soft/ tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ 直接启动 bin/hive cd ../servers/hive-1.1.0-cdh5.14.0/bin/ hive hive> create database mytest; 缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一 使用mysql共享hive原创 2020-11-23 20:19:27 · 103 阅读 · 1 评论 -
Hive理论原理知识概述
Hive什么是Hive为什么使用HiveHive的特点Hive架构基本组成Hive与Hadoop的关系Hive与传统数据库对比Hive的数据存储 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。 其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题: 人员原创 2020-11-23 17:04:46 · 121 阅读 · 0 评论