多线程解决excel数据多上传问题

  excel名单人数过多，超多140000条，单个线程处理问题，已经不能满足需求，需要做多线程的优化。再一点就是多个线程导入需要给是否导入成功的标志。
  
  首先，上传excel根据业务校验excel，这个部分省略，可以查上传excel和校验的相关知识。
  其次，就是怎么将整个excel分拆成各个小的部分，然后分线程上传。

A、将excel全部加载在内存list中（batchParams）

//存储返回导入成功的条数
int countSuceeNumber=0;	
    //将全部excel记录发送多线程线程方法，批量导入数据
    	try{
    	countSuceeNumber=saveBaseInfoList(batchParams); 
        }catch(Exception e){
        	e.printStackTrace();
        }

B、定义方法，多线程将excel的数据存储起来

/**
   * 多线程批量存储数据
   * @param batchParams
   * @return
   */
  public int saveBaseInfoList(List batchParams){
	  int count=999;//根据数量确定一个线程处理多少条数据
      int listSize=batchParams.size();
      if(listSize>=1 && listSize<1000){
      	count=333;
      }else if(listSize>=1000 && listSize<10000){
      	count=1333;
      }else if(listSize>=10000 && listSize<30000){
      	count=2333;
      }else if(listSize>=30000){
      	count=3333;
      }
      //计算开启的线程数
      int runThreadSize=(listSize/count)+1;
      logger.info("开启的线程数量"+runThreadSize);
      //存放每个线程的执行数据
      List newList=null;
      //创建一个线程池，数量和开启线程数一样
      ExecutorService executor=Executors.newFixedThreadPool(runThreadSize);
      //存放返回结果集
      int successCountNumber=0;
      //定义completionService
      CompletionService<Integer> completionService=new ExecutorCompletionService<Integer>(executor);
      try{
      //循环创建线程
      for(int i=0;i<runThreadSize;i++){
    	  if((i+1)==runThreadSize){
    		  int startIndex;
    		  startIndex=(i*count);
    		  int endIndex=listSize;
    		  newList=batchParams.subList(startIndex, endIndex);
    	  }else{
    		  int startIndex=(i*count);
    		  int endIndex=((i+1)*count);
    		  newList=batchParams.subList(startIndex, endIndex);
    	  }
    	  createBatchInsertThread(completionService,newList);
      }
      //采用completionService.take()，内部维护阻塞队列，任务先完成的先获取到
      for(int i=0;i<runThreadSize;i++){
    	  Integer counts=completionService.take().get();
    	  successCountNumber+=counts;
      }
      logger.info("成功的条数"+successCountNumber);
	  }catch(Exception e){
		  e.printStackTrace();
	  }finally{
		  executor.shutdown();
	  }
      return successCountNumber;
  }

C、调用多线程的执行类

  private  Future<Integer> createBatchInsertThread(CompletionService<Integer> completionService,List newList) throws Exception{
	  BatchInsertThread batchinsertThread=new BatchInsertThread(newList);
	  @SuppressWarnings("unchecked")
	  Future<Integer> submit = completionService.submit(batchinsertThread);
	  return submit;
  }

D、callable()的具体执行类

public class BatchInsertThread implements Callable<Integer>{
	
	 
	 private BaseService baseService = (BaseService) SpringContextHolder.getApplicationContext().getBean("baseService"); 
	 private Logger logger = Logger.getLogger(getClass());
	 List list;
	
	 public BatchInsertThread(){
		 
	 }
	 
	 public BatchInsertThread(List list){
		 this.list=list;
		
	 }

	@Override
	public Integer call() throws Exception {
		try{
			 logger.info("本次导入人数的大小"+list.size());
			 baseService.batchInsert(list);
		 }catch(Exception e){
			 e.printStackTrace();
			 logger.error(e.getMessage());
		 }
		return list.size();
	}
	 
}

E、具体的业务执行类

@Service
public class BaseServiceImpl implements BaseService{

	@Resource
	private IAthleteScoreDao athleteScoreDao;
	
	@Override
	public void batchInsert(List list) throws Exception{
		 Map<String, Object>[] paramArrayOfMap=(Map[])list.toArray(new HashMap[list.size()]);
         athleteScoreDao.batchAddAthleteScore(paramArrayOfMap);
	}

}

这样整个过程执行下来，读取并把合格的excel存储起来，非常的快速。