Hive
文章平均质量分 92
大数据老哥
这个作者很懒,什么都没留下…
展开
-
Hive从入门到精通,HQL硬核整理四万字,全面总结,附详细解析,赶紧收藏吧!!
一、了解Hive1、Hive的概念及架构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL ,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 的开发者开发自定义的 mapper转载 2021-09-13 16:29:53 · 2419 阅读 · 0 评论 -
干货分享 | Hive调优小技巧
Hive作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。 影响Hive效率的不仅仅是数据量过大;数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。架构优化转载 2021-08-16 15:51:05 · 1844 阅读 · 15 评论 -
Hive常用DDL操作
一、Database1.1 查看数据列表show databases;1.2 使用数据库USE database_name;1.3 新建数据库语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的 [COMMENT database_comment] --数据库注释 [LOCATION hdfs_path] --存储在 HDFS 上的位置 [WITH DBPROPER原创 2021-03-07 20:25:12 · 1370 阅读 · 0 评论 -
大厂都在使用的Hive优化
Hive作为大数据分析领域常用的仓库工具,即使是现在流式计算如火如荼背景下,Hive依然倍受各大厂商挚爱。使用Hive过程中,面对各种各样的查询需求,需要具有针对性的优化。下面内容就是摘抄自《Hadoop 数据仓库实践》一书中关于Hive优化部分内容。在此,感谢作业的辛勤付出。《Hadoop 数据仓库实践》一书值得品读。部分优化已经用于我的实际工作中。比如使用ORC存储文件、启用压缩、开始向量化等。此处记录下来,仅为学习和加强记忆。...转载 2021-03-01 17:40:32 · 1477 阅读 · 0 评论 -
最新Hive的高频面试题新鲜出炉了!
导语最近也是到了准备面试的时候了于是老哥我也自己整理了一些关于Hive的常问的面试题于是跟大家分享下,同时我也会将这些题目同步到GitHub上GitHub还有好多资源如Flink面试题,Spark面试题,程序员必备软件,hive面试题,Hadoop面试题,Docker面试题,简历模板请去下方链接下载 https://github.com/lhh2002/Framework-Of-BigData对你们有帮助记得 star 。希望打算换工作的朋友或找工作的朋友对你们有些帮助,最后预祝大家新的一年升职加薪,好原创 2021-02-19 22:08:43 · 1802 阅读 · 12 评论 -
Hive的调优你都知道那些?
我们在工作中还是在学习中有都会遇到我们写的SQL语句执行效率不高,那我们该怎么提高查询效率那,这篇文章就带你从不同维度讲解。记得收藏一、Fetch抓取(Hive可以避免进行MapReduce) Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在原创 2021-01-07 23:52:27 · 1836 阅读 · 22 评论 -
一文教你学会Hive视图和索引
前言 我们在写HQL有没有遇到过数据量特别大的时候比如,使用HQL 处理起来非常复杂,非常慢,这时候我们可以使用Hive给加个索引来提高我们的速度。多了就不说了,我们直接开始。一、Hive视图1.1 简介 Hive 中的视图和 RDBMS 中视图的概念一致,都是一组数据的逻辑表示,本质上就是一条 SELEC原创 2021-01-06 23:31:20 · 1952 阅读 · 14 评论 -
Hive的高频面试题,你都会了吗?
上篇文章给家讲解了Hadoop的面试题,Hive是踩在巨人的肩膀上的一个数据仓库组件,看看企业问那些问题吧。一、什么是Hive? 为什么要有hive 很多时候面试以上来就问什么是Hive,有了MapReduc为什么还要有hive呀。很多小伙伴回答的都不是很好,好,那大数据老哥来个大家讲解下。Hive是基原创 2020-11-30 23:39:35 · 4360 阅读 · 36 评论