Hive工作原理

最新推荐文章于 2022-10-15 19:57:13 发布

原创最新推荐文章于 2022-10-15 19:57:13 发布 · 404 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文阐述了Hive作为数据仓库工具如何处理HDFS中存储的结构化静态数据，通过将元数据存储在MySQL中，实现对HDFS数据的高效读取与处理。HiveSQL转换为MapReduce任务，在YARN平台上运行，简化了大数据处理流程。

在这里插入图片描述元数据信息存储在MSQL中

HDFS中存储的是数据

Hive只装在一台机器上,hive只是一个工具一个客户端,而且他的数据时存储在HDFS中的,只要Hive能读取HDFS的数据,能和msql进行交互底层就能转换成MR程序,MR程序交给yarn之后就进行分布式运行了

Hive来处理HDFS中存储的结构化的静态化数据,

这个数据可以用MapReduce程序处理HDFS中的结构化静态数据,处理完成之后,打成jar包运行在yarn平台上,MR处理完的数据会写到HDFS上,MR程序处理数据比较复杂,开发成本高,周期长

1.Hive SQL -->HQL CLI客户端可以使用Hive写sql语句,form时候就能读到HDFS表的数据,这时候Hive与HDFS的数据形成映射关系,根据数据结构创建表结构(1.建表表的结构根据处理的数据来决定的;2.描述表的结构的信息叫做表的元数据3.指定处理数据的位置),表的元数据和指定处理数据的位置叫做元数据,把元数据存到mysql数据库中

2.当CLI客户端执行sql语句的时候回到mysql中表的元数据信息,数据位置,然后解析sql语句分析优化转成MR程序,当执行sql语句的时候加载元数据信息,这时候也知道表的结构,知道数据的位置,最后底层也是有MR程序执行的