Hive工作原理

元数据信息存储在MSQL中

HDFS中存储的是数据

Hive只装在一台机器上,hive只是一个工具一个客户端,而且他的数据时存储在HDFS中的,只要Hive能读取HDFS的数据,能和msql进行交互底层就能转换成MR程序,MR程序交给yarn之后就进行分布式运行了

Hive来处理HDFS中存储的结构化的静态化数据,

这个数据可以用MapReduce程序处理HDFS中的结构化静态数据,处理完成之后,打成jar包运行在yarn平台上,MR处理完的数据会写到HDFS上,MR程序处理数据比较复杂,开发成本高,周期长

1.Hive SQL -->HQL CLI客户端可以使用Hive写sql语句,form时候就能读到HDFS表的数据,这时候Hive与HDFS的数据形成映射关系,根据数据结构创建表结构(1.建表 表的结构根据处理的数据来决定的;2.描述表的结构的信息叫做表的元数据3.指定处理数据的位置),表的元数据和指定处理数据的位置叫做元数据,把元数据存到mysql数据库中

2.当CLI客户端执行sql语句的时候回到mysql中表的元数据信息,数据位置,然后解析sql语句 分析 优化 转成MR程序,当执行sql语句的时候加载元数据信息,这时候也知道表的结构,知道数据的位置,最后底层也是有MR程序执行的