java 大数据 分批+线程处理

背景:考虑到数据大,就会超时。

解决方法:1.先把数据分批,2.在加入线程异步处理。

代码如下:

public static void main(String[] args) {
   //1.先把数据分批
   List<List<String>> batchList = this.splitListToList(ids,500);
   // 分成多个集合 处理 ,每个处理500
   for (List<String> list : batchList) {
   //2.先初始化线程,在加入线程异步处理。
   AsyncThreadPool.getInstance().execute(new Runnable() {

   @Override public void run() {

   try {
        //你的处理逻辑代码
      } catch (Exception e) {
       logger.error("异常:",e);
      }
   }
  }
}
}
/**
 * 将一个list分隔成多个list
 * @param list       需要分隔的list
 * @param splitSize    分隔的每个大小
 * @return    分隔后的多个list放在一个List 里
 */
public static <T> List<List<T>> splitListToList(List<T> list, int splitSize) {
    List<List<T>> listBatch= new ArrayList<List<T>>();

    int listSize = list.size();
    int batchSize = listSize / splitSize;      // 总批数
    if (listSize % splitSize > 0) {
        batchSize += 1;
    }

    for (int i = 0; i < batchSize; i++) {
        int start = i * splitSize;
        int end = (i + 1) * splitSize;
        if (end > listSize) {
            end = listSize;
        }
        List<T> batchList = list.subList(start, end);
        listBatch.add(batchList);
    }
    return listBatch;
}

/**
 * 异步线程池 初始化10个线程
 */
public class AsyncThreadPool {
    protected final Logger logger = Logger.getLogger(getClass());

    private static AsyncThreadPool asyncThreadPool = null;
    private static ExecutorService threadPool = null;

    private AsyncThreadPool(){
        int processors = 10;
        logger.info("初始化:" + processors + "个异步线程池");
        threadPool = Executors.newFixedThreadPool(processors);
    }

    public final static AsyncThreadPool getInstance(){
        if(asyncThreadPool == null){
            asyncThreadPool = new AsyncThreadPool();
        }
        return asyncThreadPool;
    }

    public void execute(Runnable thread){
        threadPool.execute(thread);
    }

    public void submit(Runnable thread){
        threadPool.submit(thread);
    }
}


如果你是湖南的 欢迎加入 湖南人在深圳-Java群:557651502 

  • 5
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值