这篇博客详细介绍了Hive的架构，包括用户提交SQL的方式、SQL执行的三个步骤、元数据存储以及数据抽象。此外，还深入探讨了Hive的亮点，如简化大数据处理、SQL语法相似性和丰富的内置函数。文章着重讲解了Hive源码的编译过程，包括Maven的安装、配置，以及源码的编译步骤，提示了通过设置镜像加速编译的建议。
hive架构
hive的用户（提交SQL的方式）
1.Cli（命令行）
Cli（hive shell）
2.JDBC/ODBC（面向应用程序进行编程开发）
3.Web UI（Hue/hwi）（不常用）
sql提交以后经过三个步骤
1.编译
2.优化
3.执行
生成类似mapreducer的task。提交到hadoop集群上执行。
hive 架构
- Command-line shell 和Thrift/jdbc这两个相当于相当于客户端。
Thrift是一种跨语言的服务。
- Metastore 元数据存有：database（location/owner/name）/table。存在mysql上。
真正的hive的数据存在hdfs上
hive自带一个berby数据库，一般不使用。只能启动一个命令行。
- Driver：一个SQL运行以后，会先经过Driver，然后经过mapReduce执行，然后写到HDFS或HBase上。
driver：包括很多部分
1.编译：将SQL转换成一个抽象的语法树
2.解析：解析成hive可以认识的东西（
最低0.47元/天 解锁文章
扫一扫
181
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
