tez on yarn

Tez

　　Tez俗称DAG计算，多个计算作业之间存在依赖关系，并形成一个依赖关系的有向图。

　　Tez是运行在Yarn上的DAG,动态的生成计算的关系流。

 

 

 

　　如上图左所示的Top K问题，第一个Mapreduce实现wordcount的功能，第二个Mapreduce只用使用Reduce实现排序的问题，但是在Mapreduce中必须创建两个MapReduce任务，但是在Tez优化后，可以直接再第一个reduce后，不进行输出，直接输出到第二个reduce中，优化了Mapreduce.

　　上图中右为一个HiveQL实现的MapReduce,mapreduce为其创建了4个mapreduce任务，使用Tez可以只使用一个Mapreduce任务。

　　Tez on Yarn和，mapreduce on Yarn上的作业的流程基本一样。

　　Tez的优化技术

　　产生一个Mapreduce任务就提交，影响任务的效率，Tez的优化策略是创建一个ApplicationMaster的缓存池，作业提交到AMppplserver中，预先启动若干ApplicationMaster形成AM缓冲池。

　　同时ApplicationMaster启动的时候也可以预先启动几个container,做为容器的缓冲池。

　　此外ApplicationMaster运行完成后，不会马上注销其下的container,而是将其预先分配给正要运行的任务。

　　Tez的好处就是避免产生较多的Mapreduce任务，产生不必要的网络和磁盘IO.