关闭

mapreduce采用多进程与spark采用多线程比较

标签: mapreducespark多线程多进程
2155人阅读 评论(0) 收藏 举报
分类:

转自:Mapreduce多进程与spark多线程

Apache Spark的高性能一定程度上取决于它采用的异步并发模型(这里指server/driver 端采用的模型),这与Hadoop 2.0(包括YARN和MapReduce)是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型,实现方式是epoll+状态机,而Apache Spark则直接采用了开源软件Akka,该软件实现了Actor模型,性能非常高。尽管二者在server端采用了一致的并发模型,但在任务级别(特指 Spark任务和MapReduce任务)上却采用了不同的并行机制:Hadoop MapReduce采用了多进程模型,而Spark采用了多线程模型。

注意,本文的多进程和多线程,指的是同一个节点上多个任务的运行模 式。无论是MapReduce和Spark,整体上看,都是多进程:MapReduce应用程序是由多个独立的Task进程组成的;Spark应用程序的 运行环境是由多个独立的Executor进程构建的临时资源池构成的。

多进程模型便于细粒度控制每个任务占用的资源,但会消耗较多的启动时间,不适合运行低延迟类型的作业,这是MapReduce广为诟病的原因之一。而多线程模型则相反,该模型使得Spark很适合运行低延迟类型的作业。总之,Spark同节点上的任务以多线程的方式运行在一个JVM进程中,可带来以下好处:

1)任务启动速度快,与之相反的是MapReduce Task进程的慢启动速度,通常需要1s左右;

2)同节点上所有任务运行在一个进程中,有利于共享内存。这非常适合内存密集型任务,尤其对于那些需要加载大量词典的应用程序,可大大节省内存。

3) 同节点上所有任务可运行在一个JVM进程(Executor)中,且Executor所占资源可连续被多批任务使用,不会在运行部分任务后释放掉,这避免 了每个任务重复申请资源带来的时间开销,对于任务数目非常多的应用,可大大降低运行时间。与之对比的是MapReduce中的Task:每个Task单独 申请资源,用完后马上释放,不能被其他任务重用,尽管1.0支持JVM重用在一定程度上弥补了该问题,但2.0尚未支持该功能。


尽管Spark的多线程模型带来了很多好处,但同样存在不足,主要有:

1)由于同节点上所有任务运行在一个进程中,因此,会出现严重的资源争用,难以细粒度控制每个任务占用资源。与之相 反的是MapReduce,它允许用户单独为Map Task和Reduce Task设置不同的资源,进而细粒度控制任务占用资源量,有利于大作业的正常平稳运行。

下面简要介绍MapReduce的多进程模型和Spark的多线程模型。

1.MapReduce多进程模型

mapreduce采用多进程与spark采用多线程比较

1) 每个Task运行在一个独立的JVM进程中;

2) 可单独为不同类型的Task设置不同的资源量,目前支持内存和CPU两种资源;

3) 每个Task运行完后,将释放所占用的资源,这些资源不能被其他Task复用,即使是同一个作业相同类型的Task。也就是说,每个Task都要经历“申请资源—> 运行Task –> 释放资源”的过程。

2.Spark多线程模型

mapreduce采用多进程与spark采用多线程比较

1) 每个节点上可以运行一个或多个Executor服务;

2) 每个Executor配有一定数量的slot,表示该Executor中可以同时运行多少个ShuffleMapTask或者ReduceTask;

3) 每个Executor单独运行在一个JVM进程中,每个Task则是运行在Executor中的一个线程;

4) 同一个Executor内部的Task可共享内存,比如通过函数SparkContext#broadcast广播的文件或者数据结构只会在每个Executor中加载一次,而不会像MapReduce那样,每个Task加载一次;

5) Executor一旦启动后,将一直运行,且它的资源可以一直被Task复用,直到Spark程序运行完成后才释放退出。

总体上看,Spark采用的是经典的scheduler/workers模式, 每个Spark应用程序运行的第一步是构建一个可重用的资源池,然后在这个资源池里运行所有的ShuffleMapTask和ReduceTask(注 意,尽管Spark编程方式十分灵活,不再局限于编写Mapper和Reducer,但是在Spark引擎内部只用两类Task便可表示出一个复杂的应用 程序,即ShuffleMapTask和ReduceTask),而MapReduce应用程序则不同,它不会构建一个可重用的资源池,而是让每个 Task动态申请资源,且运行完后马上释放资源。

0
0
查看评论

Apache Spark探秘:多进程模型还是多线程模型?

Apache Spark的高性能一定程度上取决于它采用的异步并发模型(这里指server/driver端采用的模型),这与Hadoop 2.0(包括YARN和MapReduce)是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型,实现方式是epoll+状态机,而Apache Sp...
  • kobejayandy
  • kobejayandy
  • 2015-01-06 13:29
  • 1497

Spark基础入门(三)--------作业执行方式

(一)SparkContext 代表对集群的一个连接 (二)Job提交过程 底层分析,包括DAGScheduler,taskScheduler的分析 (三)、Spark提交Job的顺序的小实验
  • silviakafka
  • silviakafka
  • 2017-01-16 20:25
  • 1840

Spark性能优化:资源调优篇

在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源...
  • u012102306
  • u012102306
  • 2016-06-11 18:04
  • 31431

Spark如何在一个SparkContext中提交多个任务

在使用spark处理数据的时候,大多数都是提交一个job执行,然后job内部会根据具体的任务,生成task任务,运行在多个进程中,比如读取的HDFS文件的数据,spark会加载所有的数据,然后根据block个数生成task数目,多个task运行中不同的进程中,是并行的,如果在同一个进程中一个JVM里...
  • u010454030
  • u010454030
  • 2017-07-04 19:23
  • 2341

hadoop学习序曲之java基础篇--java多线程

信号量(Semaphore),有时被称为信号灯,是在多线程环境下使用的一种设施, 它负责协调各个线程, 以保证它们能够正确、合理的使用公共资源。比如:停车场每辆车是一个线程,看门的大爷起到了信号量的作用。 工作内存和主内存之间有八种操作。 read(读取)&#...
  • hhfff123
  • hhfff123
  • 2016-04-23 16:08
  • 245

Mapreduce中使用多线程的问题

在项目中遇到了Mapreduce使用多线程的问题,在此记录、讨论一下。 需实现流程是读取关键词文件中的关键词,根据关键词搜索图片,爬取相关的图片的地址,开启线程下载、转换图片。每个关键词开启一个maptask,搜索获取多图片地址,开启多线程执行下载和转化过程,由于Mapreduce是多进程模式,执...
  • SHENNONGZHAIZHU
  • SHENNONGZHAIZHU
  • 2016-06-01 21:46
  • 864

集群上如何跑pyspark程序--Running Spark Python Applications

 Running Spark Python Applications Accessing Spark with Java and Scala offers many advantages: platform independence by running inside the JVM, ...
  • huobanjishijian
  • huobanjishijian
  • 2016-09-28 10:48
  • 1733

Spark程序执行过程中遇到的线程安全问题及解决办法

  • caiyefly
  • caiyefly
  • 2017-09-02 13:18
  • 292

Spark Streaming中并行运行任务

在运行Spark Streaming程序时,有时我们需要并行化任务的执行。比如任务A需要每隔5s输出计算结果,任务B用到了时间窗口,每隔1hour计算一次并输出结果。如果全部串行运行的话,在运行任务B时,任务A就会被阻塞。可能B的执行需要3分钟,那这三分钟内A的计算结果就不能被实时看到了。在Spar...
  • ZHBR_F1
  • ZHBR_F1
  • 2017-05-27 16:12
  • 983

mapreduce采用多进程与spark采用多线程比较

转自:Mapreduce多进程与spark多线程 Apache Spark的高性能一定程度上取决于它采用的异步并发模型(这里指server/driver 端采用的模型),这与Hadoop 2.0(包括YARN和MapReduce)是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模...
  • SHENNONGZHAIZHU
  • SHENNONGZHAIZHU
  • 2016-06-01 21:37
  • 2155
    个人资料
    • 访问:292296次
    • 积分:3625
    • 等级:
    • 排名:第10754名
    • 原创:62篇
    • 转载:126篇
    • 译文:0篇
    • 评论:35条
    最新评论