hive可以看作是hdfs的一个客户端。首先去数据库找元数据信息(默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore),然后再去hdfs中映射文件数据。我们的hql先是经过解析器,判断我们写的sql格式是否正确;然后进行编译,编译成mr模板;通过优化器和执行器之后进行提交转化为mr作业,与hdfs进行交互。
hive可以看作是hdfs的一个客户端。首先去数据库找元数据信息(默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore),然后再去hdfs中映射文件数据。我们的hql先是经过解析器,判断我们写的sql格式是否正确;然后进行编译,编译成mr模板;通过优化器和执行器之后进行提交转化为mr作业,与hdfs进行交互。