qq443967620的博客

Hive工作原理,如上图,我们不讲右边的hadoop阶段,我们只讲左边hive阶段的流程: . 用户提交查询等任务给Driver。 编译器获得该用户的任务Plan。 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为...

MapReduce 流程详解 客户端阶段: 我们在hdfs上有一个需要分析的文件a.txt 在客户端在提交处理之前,客户端先获取文件,然后程序进行一个参数配置,对文件进行切片, 切片程序:首先计算切片的最大最小值, 从而确定切片大小,一般为128m,也可以根据自身的需要调整大小, 计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize))....