Mybatis 批量插入

阿里云股票业务有提供一项查询功能，发送股票名称，返回股票编码，在毕业设计的开发过程中，我用到了这个功能。由于需要支付费用，毕设结束后便考虑自己动手实现。

找到了这个地址：http://quote.eastmoney.com/stock_list.html

对股票信息数据进行抓取后入库，有4000多条数据，如果采用传统的入库方式，一条条数据插入，数据库I/O会浪费比较大的资源。

尝试了后，数据如下：本次新增股票数据共4337条，耗时233秒

后面决定使用Mybatis的批处理操作，采用的方式，主要是在mapper文件中使用了foreach标签，举个简单的例子，插入一条语句，是

insert into xxx values xx、xx、xx

现在变成了

insert into xxx values （xx、xx、xx，xx、xx、xx....）

将下一条记录的值直接拼接在sql后面。

批量插入的数据是：本次新增股票数据共4337条，耗时11秒，相比于传统的插入方式，快了20倍，当然，这是比较模糊的数据，在后台的实现中，我是设置为数据量达到1000，就进行插入操作。

具体实现如下：

后台代码

int newCount = 0;
        long startTime = System.currentTimeMillis();

        List<SharesInfo> list = new ArrayList<SharesInfo>();

        for (Element ele:eles) {
            String text = ele.text();
            String name = TextUtil.RegexMatch("(.*)\\(",text,1);
            String code = TextUtil.RegexMatch("\\((.*)\\)",text,1);
            try{
                SharesInfo temp = sharesInfoService.selectBySharesName(name);
                if(temp == null) {
                    SharesInfo sharesInfo = new SharesInfo();
                    sharesInfo.setCode(code);
                    sharesInfo.setName(name);
                    //sharesInfoService.addSharesInfo(sharesInfo);
                    list.add(sharesInfo);

                    if(list.size() == 1000){
                        sharesInfoService.addSharesInfoBatch(list);
                        list.clear();
                    }

                    newCount ++ ;
                }
            }catch (Exception e){
                logger.error(name);
            }
        }

        //把零头也进行入库
        sharesInfoService.addSharesInfoBatch(list);

        long endTime = System.currentTimeMillis();
        logger.info("本次新增股票数据共"+newCount+"条，耗时"+(endTime-startTime)/1000+"秒");

Mapper.xml文件：

<insert id="insertBatch" parameterType="java.util.List" >
    insert into sharesinfo (id, code, name
    )
    values
    <foreach collection ="list" item="info" index= "index" separator =",">
    (#{info.id,jdbcType=INTEGER}, #{info.code,jdbcType=VARCHAR}, #{info.name,jdbcType=VARCHAR})
    </foreach>

  </insert>

Service层

public void addSharesInfoBatch(List<SharesInfo> list);

还算是比较简单，这种实现方式可应用于常用的批处理插入方式，但如果是存在大数据类型的，就不可用这种方式了