批处理技术比较

什么时候需要使用批处理

有界：批处理数据集代表数据的有限集合
持久：数据通常始终存储在某种类型的持久存储位置中
大量：批处理操作通常是处理极为海量数据集的唯一方法

批处理一般需要有以下特点

1、并行批处理：并行处理任务
2、按顺序处理依赖的任务
3、批量的每个单元都需要错误处理和回退；
4、完整的批处理事务
5、 每个单元需要监控和获取单元处理日志；
6、 提供多种触发规则，按日期，日历，周期触发

常说的批处理技术有哪些

技术	特点	实现
java6的executorservice	建立一个线程池，每次需要线程的时候来池中获取 a. 重用存在的线程，减少对象创建、消亡的开销，性能佳。 b. 可有效控制最大并发线程数，提高系统资源的使用率，同时避免过多资源竞争，避免堵塞。 c. 提供定时执行、定期执行、单线程、并发数控制等功能。	一 Java通过Executors提供四种线程池，分别为： newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。 newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。 newScheduledThreadPool 创建一个定长线程池，支持定时及周期性任务执行。 newSingleThreadExecutor 创建一个单线程化的线程池，它只会用唯一的工作线程来执行任务，保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。 二、 ExecutorService 的submit（） 与execute（）区别 1、接收的参数不一样 submit（）可以接受runnable和callable 有返回值 execute（）接受runnable 无返回值 2、submit有返回值，而execute没有、submit方便Exception处理
java7的forkjoinpool	是ExecutorService的实现类，因此是一种特殊的线程池  可以充分利用多cpu，多核cpu的优势，把一个任务拆分成多个“小任务”，把多个“小任务”放到多个处理器核心上并行执行；当多个“小任务”执行完成之后，再将这些执行结果合并起来即可	创建了ForkJoinPool实例之后，就可以调用ForkJoinPool的submit(ForkJoinTask<T> task) 或invoke(ForkJoinTask<T> task)方法来执行指定任务了 其中ForkJoinTask代表一个可以并行、合并的任务。ForkJoinTask是一个抽象类，它还有两个抽象子类：RecusiveAction和RecusiveTask。其中RecusiveTask代表有返回值的任务，而RecusiveAction代表没有返回值的任务
erlang-actor	在 Erlang 中，进程为最小的单位，也就是所谓的 Actor。注意 Erlang 的进程不是我们传统上的进程，它运行在 Erlang 虚拟机上，非常小，非常轻，可以瞬间创建上万，甚至几十万个，进程间完全是独立的，不共享内存。在进程运行时若出现错误，由于进程的轻量级，Erlang 采取的措施是“让其他进程修复”和“任其崩溃”。在 Erlang 上查看默认限制数量是26万多，可以进行修改。每个进程创建后都会有一个独一无二的 Pid，这些进程之间通过 Pid 来互相发送消息，进程的唯一交互方式也是消息传递，消息也许能被对方收到，也许不能，收到后可以处理该消息。如果想知道某个消息是否被进程收到，必须向该进程发送一个消息并等待回复
go的goroutinue	首先看下进程和协程的定义和区别 进程是内存资源管理和cpu调度的执行单元。为了有效利用多核处理器的优势，将进程进一步细分，允许一个进程里存在多个线程，这多个线程还是共享同一片内存空间，但cpu调度的最小单元变成了线程 协程，可以看作是轻量级的线程。但与线程不同的是，线程的切换是由操作系统控制的，而协程的切换则是由用户控制的   goroutinue本质上就是协程。但有两点不同： 1. goroutinue可以实现并行，也就是说，多个协程可以在多个处理器同时跑。而协程同一时刻只能在一个处理器上跑（把宿主语言想象成单线程的就好了）。 2. goroutine之间的通信是通过channel，而协程的通信是通过yield和resume()操作	go的channel 在java的世界里，并发主要是靠锁住临界资源（共享内存）来保证同步的。而channel则是goroutinues之间进行通信的利器。 channel可以形象比喻为工厂里的传送带,一头的生产者goroutine往传输带放东西,另一头的消费者goroutinue则从输送带取东西。channel实际上是一个有类型的消息队列,遵循先进先出的特点。 1. channel的操作符号 ch <- ele 表示ele被发送给channel ch； ele2 <- ch 表示从channel ch取一个值，然后赋给ele2 2. 阻塞式channel channel默认是没有缓冲区的，也就是说，通信是阻塞的。send操作必须等到有消费者accept才算完成。 3 带有buff的channel 没有buff的channel只能容纳一个元素，而带有buff的channel则可以非阻塞容纳N个元素。发送数据到buffed channel不会被阻塞，除非channel已满；同样的，从buffed channel取数据也不会被阻塞，除非channel空了。这有点像java的ConcurrentLinkedQueue

 

批处理框架优缺点

技术	优势	缺点
hadoop	Hadoop自己参考谷歌有关海量数据处理所发表的多篇论文与经验，实现了相关算法和组件堆栈，使得大规模批处理技术变得更易用。 新版Hadoop包含多个组件，即多个层，通过配合使用可处理批数据	这种方法严重依赖持久存储，每个任务需要多次执行读取和写入操作，因此速度相对较慢
storm	Storm可能是近实时处理领域的最佳解决方案。该技术可以用极低延迟处理数据，可用于希望获得最低延迟的工作负载。如果处理速度直接影响用户体验，例如需要将处理结果直接提供给访客打开的网站页面，此时Storm将会是一个很好的选择	Core Storm无法保证消息的处理顺序。Core Storm为消息提供了“至少一次”的处理保证，这意味着可以保证每条消息都能被处理，但也可能发生重复
spark	使用Spark而非Hadoop MapReduce的主要原因是速度。在内存计算策略和先进的DAG调度等机制的帮助下，Spark可以用更快速度处理相同的数据集 Spark的另一个重要优势在于多样性。该产品可作为独立集群部署，或与现有Hadoop集群集成。该产品可运行批处理和流处理，运行一个集群即可处理不同类型的任务	1、为流处理系统采用批处理的方法，需要对进入系统的数据进行缓冲。缓冲机制使得该技术可以处理非常大量的传入数据，提高整体吞吐率，但等待缓冲区清空也会导致延迟增高。这意味着Spark Streaming可能不适合处理对延迟有较高要求的工作 2、由于内存通常比磁盘空间更贵，因此相比基于磁盘的系统，Spark成本更高 3、相比Hadoop MapReduce，Spark的资源消耗更大，可能会对需要在同一时间使用集群的其他任务产生影响。从本质来看，Spark更不适合与Hadoop堆栈的其他组件共存一处
Spring Batch	通过Spring Batch框架可以构建出轻量级的健壮的并行处理应用,支持事务、并发、流程、监控、纵向和横向扩展,提供统一的接口管理和任务管理 框架提供了诸如以下的核心能力，让大家更关注在业务处理上。更是提供了如下的丰富能力： 健壮性：不会因为无效数据或错误数据导致程序崩溃； 可靠性：通过跟踪、监控、日志及相关的处理策略（重试、跳过、重启）实现批作业的可靠执行； 扩展性：通过并发或者并行技术实现应用的纵向和横向扩展，满足海量数据处理的性能需求	提供批处理框架仅能满足批处理作业的快速开发、执行能力。 批处理平台需要解决作业的统一调度、批处理作业的集中管理和管控、批处理作业的统一监控等能力

 

 

 

转载于:https://www.cnblogs.com/handy-liu/p/8534804.html