Spark on yarn和Hadoop on yarn的区别

Apache Spark 的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与 Hadoop 2.0（包括 YARN 和MapReduce）是一致的。Hadoop 2.0 自己实现了类似 Actor 的异步并发模型，实现方式是 epoll+状态机，而 Apache Spark 则直接采用了开源软件Akka，该软件实现了 Actor 模型，性能非常高。尽管二者在 server 端采用了一致的并发模型，但在任务级别（特指 Spark 任务和 MapReduce 任务）上却采用了不同的并行机制：Hadoop MapReduce 采用了多进程模型，而Spark 采用了多线程模型。

注意，本文的多进程和多线程，指的是同一个节点上多个任务的运行模式。无论是 MapReduce 和 Spark，整体上看，都是多进 程：MapReduce 应用程序是由多个独立的 Task 进程组成的；Spark 应用程序的运行环境是由多个独立的 Executor 进程构建的临时资源池构 成的。

    多进程模型便于细粒度控制每个任务占用的资源，但会消耗较多的启动时间，不适合运