01-Hive简介

hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理(包括元数据)。这套HIVE SQL简称HQL。hive的执行引擎可以是MR。spark、tez。

如果执行引擎是MapReduce的话,hive会将Hql翻译成MR进行数据的计算。用户可以使用命令行工具或JDBC驱动程序来连接到hive。

为什么要使用hive

• 人员学习成本高

• 项目周期要求太短

• MapReduce实现复杂查询逻辑开发难度大

hive优缺点

hive优点

1.学习成本低

提供了类SQL查询语言HQLC简单，容易上手)，避免了直接写MopReduce(适合java语言不好的。sql熟练的人)，减少开发人员的学习成本。

2.可扩展性好

为超大数据集设计了计算/扩展能力(NR作为计算引擎，HDFS作为存储系统)，Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。

3.适合做离线分析处理OLAP

Hive的执行延迟比较高因此Hive常用于数据分析，对实时性要求不高的场合。

4.延展性好

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函致。

5.良好的容错性

某个数据节点出现问题HQL仍可完成执行。

6.统计管理

提供了统一的元数据管理

hive缺点

1. hive的HQL表达能力有限

迭代式算法无法表达,比如PogeRankC网页排名)

数据挖掘方面，比如kmeansKk均值聚类算法

2. hive的效率比较低

hive自动生成的mapreduce作业，通常情况下不够智能化

hive调优比较困难。粒度较粗

Hive的架构与工作原理

---

包含_的全表查询，比如select * from table 不会生成MapRedcue任务

包含_的limit查询，比如select * from table limit 3 不会生成MapRedcue任务

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（资料价值较高，非无偿）

学习分享，共勉

这里是小编拿到的学习资源，其中包括“中高级Java开发面试高频考点题笔记300道.pdf”和“Java核心知识体系笔记.pdf”文件分享，内容丰富，囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。同时还有Java进阶学习的知识笔记脑图（内含大量学习笔记）！

资料整理不易，读者朋友可以转发分享下！

Java核心知识体系笔记.pdf

中高级Java开发面试高频考点题笔记300道.pdf

架构进阶面试专题及架构学习笔记脑图

Java架构进阶学习视频分享
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
9kTz-1711530116840)]

Java架构进阶学习视频分享
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！