并发编程实例---批量插入数据

原创 2017年01月03日 11:53:10
public class SaveCouponNoTask implements Runnable {
  private Logger logger = LogManager.getLogger(SaveCouponNoTask.class);
  private ICouponTemplateBiz couponTemplateBiz;
  private CountDownLatch latch;
  private String sql;
  private List<String> params; // 本线程处理的参数列表

  public SaveCouponNoTask(CountDownLatch latch, String sql, List<String> params) {
    this.couponTemplateBiz = SpringContextHolder.getBean("couponBiz");
    this.latch = latch;
    this.sql = sql;
    this.params = params;
  }

  @Override
  public void run() {
    try {
      int each = 10000;
      int times = Double.valueOf(Math.floor(params.size() / each)).intValue();
      int totalCount = 0;
      for (int i = 0; i < times; i++) {
        int beforeCount = totalCount;
        totalCount += each;
        System.out.println("线程开始执行,ID:" + Thread.currentThread().getId() + ",当前时间:" + System.currentTimeMillis());
        couponTemplateBiz.batchInsertCoupon(sql, params.subList(beforeCount, totalCount));
        System.out.println("线程ID:" + Thread.currentThread().getId() + ",当前时间:" + System.currentTimeMillis());
      }
      if (totalCount < params.size()) {
        couponTemplateBiz.batchInsertCoupon(sql, params.subList(totalCount, params.size()));
      }
    } catch (Exception e) {
      logger.error("生成券插入数据库异常", e);
    } finally {
      latch.countDown();
    }
  }
}


private int generateCouponByActivityId(PromotionActivityListVo promotionActivityListVo, final int nums) {
    try {
      String sql = generateSimpleInsertCouponSql(promotionActivityListVo);
      List<String> params = new ArrayList<String>();
      List<String> couponNos = couponTemplateDao.getCouponNoByPromotionId(promotionActivityListVo.getId());
      Set<String> couponVoSet = new HashSet<String>(couponNos.size());
      for (String counponNo : couponNos) {
        couponVoSet.add(counponNo);
      }
      int i = 0;
      while (i < nums) {
        String couponNo = promotionActivityListVo.getCouponCode() + com.szy.utils.RandomStringUtils.getRandomString(4);
        boolean compareFlag = couponVoSet.contains(couponNo);
        if (compareFlag == false) {
          i++;
          params.add(couponNo);
          couponVoSet.add(couponNo);
        }
      }
      if (params.size() > 0) {
        int[] indexs = getIndexForSubList(params.size(), 1000, 10);
        CountDownLatch latch = new CountDownLatch(indexs.length - 1);
        for (int j = 1; j < indexs.length; j++) {
          taskExecutor
              .execute(new SaveCouponNoTask(latch, sql, params.subList(indexs[j - 1], indexs[j])));
        }
        new StatCouponNoSaveTask(latch, System.currentTimeMillis()).doTask();
        return params.size();
      }
    } catch (Exception e) {
      log.error(e);
      return 0;
    }
    return 0;
  }

	<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
		<!-- 核心线程数 -->	 
		<property name="corePoolSize" value="1" />
		<!-- 最大线程数 -->  
		<property name="maxPoolSize" value="2" />
		<!-- 队列最大长度 -->
		<property name="queueCapacity" value="10" />
		<!-- 线程池维护线程所允许的空闲时间,默认为60s -->
		<property name="keepAliveSeconds" value="10" />
	</bean>



版权声明:本文为博主原创文章,未经博主允许不得转载。

爬虫项目常见问题及解决方案

爬虫项目常见问题及解决方案。最近在做一个采集国内的视频网站内容的爬虫项目,在开发的过程中遇到了一些典型问题,在这里罗列下来和大家一起分享: 问题一:用什么语言写爬虫最好?问题二:用什么数据库最好?问题...

HTTP深入浅出之http请求和15中以上的请求方式

HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。根据HTTP标准,HTTP请求可以使用多种请求方法。 HTTP1.0定义了三种请求方法: GET,...

OpenCV图像编程实例-图像文件批量读取

本博文摘录《OpenCV图像处理编程实例》2.4章节,更详细的内容请参考本书。图书购买地址:当当:http://product.dangdang.com/23956649.html京东:http://...

并发的批量插入数据的应用,app,db层面的优化

这里讲述了一个并发的批量插入数据的应用,应用,数据库层面的优化案例。其实是老白讲述的一个案例,我这里稍微整理了一下,其实如果大家的数据库概念清晰的话,思路还是蛮清晰的:     1.首先,批量插入数...

上传文件实现数据采集以及批量导入数据库实例

因为项目要求,需要读取本地文件,实现数据采集,然后批量导入数据库。 友情提示:下面代码中关于数据库的操的代码有的是封装好的,比如save()方法,findBatchNum()方法并没有在本篇博客中贴出...
  • Rxlywz
  • Rxlywz
  • 2016年11月09日 18:01
  • 506

分享MSSQL、MySql、Oracle的大数据批量导入方法及编程手法细节

1:MSSQL SQL语法篇: BULK INSERT [ database_name . [ schema_name ] . | schema_name . ] [ table...
  • cyq1162
  • cyq1162
  • 2016年11月23日 12:18
  • 476

jdbc批量插入实例

package test; import java.sql.DriverManager; import java.util.ArrayList; import java.util.List; im...

mybatis如何实现批量更新和插入新增实例详解(附SQL以及mapper配置)

mybatis如何实现批量更新和插入新增实例详解(附SQL以及mapper配置) 本系列示例sql均在Mysql中验证过Mybatis批量插入、批量修改批量插入 step1:创建DB表...

mysql + SpringMVC + MyBatis中批量插入实例以及@Param注解的用法

1.使用到的jar包如下: mybatis-3.2.2.jar、mybatis-spring-1.2.2.jar、mysql-connector-java-5.1.32.jar 2.Spring配置文...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:并发编程实例---批量插入数据
举报原因:
原因补充:

(最多只允许输入30个字)