java简单任务池

这次我们来基于java设计并实现一个简单的任务池。

 

什么叫任务池？

实际上就是一个任务流水线，可以将各种待完成的任务发布到流水线中。由任务池统计管理并且调度，来保证任务的完成。可能会有这样的疑问：我对每个任务都单独起一个线程，让其独立完成不就可以了么？对于小批量、快速、占用少量资源的任务可能这样没有问题，但是对于大规模、多并发的任务，这样的结果是会造成系统性能极其低下，并且还很可能造成资源需求上的溢出。

 

如何用有限的资源，调度并完成任务，这就是我们任务池的最终目标。

 

很直观，直接上任务池中就是有一个队列存储任务对象，对于每个任务它能知道当前任务状态（尚未开始、进行中、已完成）。当一个任务完成的时候，它将该任务清除，并且取出一个其他尚未完成的任务并开启之。

 

任务池应该具有并发性能，可以限制同时最多有多少个任务并行执行。

 

好，需求明确了，下面直接看代码吧。该代码实现子任务调用FFMPEG进行视频转码，而任务管理池用于限制并调度任务并发的执行。

 

/** * */ package com.nvvideo.upload.logic; import java.util.LinkedList; /** * TransferManager * <p>Title: 视频转码任务管理器</p> * <p>Description: </p> * <p>Date: 2010-7-14</p> * <p>Copyright: Copyright (c) 2010</p> * <p>Company: novel-supertv.com</p> * @author chenggong * @version 1.0 */ public class TransferManager { private int maxThreadNum = 1; private LinkedList<TransferTaskBase> fileList; private int workingThreadNum = 0; public TransferManager(){ this.fileList = new LinkedList<TransferTaskBase>(); } /** * 设置最大并发数 * @param num */ public void setMaxThreadNum( int num ){ this.maxThreadNum = num; } /** * 增加文件转码任务 * @param task */ public synchronized void addFileTask( TransferTaskBase task ){ fileList.addFirst(task); } /** * 启动转码任务 */ public void startTransfer(){ if( workingThreadNum >= maxThreadNum ) return; else{ transferNext(); } } private synchronized TransferTaskBase getNextFile(){ if( fileList.size() == 0 ) return null; else return fileList.removeLast(); } protected synchronized void threadLive(){ workingThreadNum++; } protected synchronized void threadFinish(){ workingThreadNum--; } /** * 启动下一个转码任务 */ public void transferNext(){ TransferTaskBase task = this.getNextFile(); if( task == null ){ return; } else{ task.start(); } } }

 

转码任务基类

 package com.nvvideo.upload.logic; import com.nvvideo.logic.VideoLogic; import com.nvvideo.po.Video; /** * TransferTaskBase * <p>Title: 视频转码任务基类</p> * <p>Description: </p> * <p>Date: 2010-7-14</p> * <p>Copyright: Copyright (c) 2010</p> * <p>Company: novel-supertv.com</p> * @author chenggong * @version 1.0 */ public abstract class TransferTaskBase extends Thread { protected TransferManager manager; /** * 设置管理器 * @param manager */ public void setManager( TransferManager manager ){ this.manager = manager; } protected Video video; protected VideoLogic videoLogic; public void setVideo( Video video ){ this.video = video; } public void setVideoLogic(VideoLogic videoLogic) { this.videoLogic = videoLogic; } protected String originFileUri; /** * 设置源文件名 * @param filename */ public void setOriginFile( String filename ){ originFileUri = filename; } /* (non-Javadoc) * 开始执行转码任务 * @see java.lang.Thread#run() */ final public void run(){ manager.threadLive(); this.execute(); manager.threadFinish(); manager.transferNext(); } /** * 执行转码 * 必须以阻塞态执行 */ protected abstract void execute(); }

 

调用示例：

 

transferManager 任务池

task 具体任务

 

transferManager.addFileTask(task);
transferManager.startTransfer();