weixin_60560860的博客

原创 Hive on Spark之内存控制

Driver是应用程序在集群中的主要协调者，，负责将应用程序的逻辑划分为任务分配给executor执行。Driver负责与yarn resourcemanager通信，请求资源、监控任务并将结果返回给客户端。Executor是由YARN分配给应用程序的运行任务的容器。它执行在集群中的不同节点上，并负责执行具体的任务代码。Driver的内存吃的是：Executor的内存吃的是：yarn总内存-Max Application Master Resourceshive on spark模式下。