Java中大量数据批量处理方式

在订单中心处理订单，总会遇到大批量订单处理的业务，下面就将如何大批量处理数据来提高效率做一个总结；

代码设计：在dao层写批量新增的方法。以及实现dao的实现类，在service调用这个dao就可以了，不过最终走的还是单个只不过是集合的遍历。

IOrderBatchDao

public interface IOrderBatchDao {  
    /** 
     * 保存多条记录 
     *  
     * @param orders: 
     */  
    void saveAll(List<Order> orders);  

    /** 
     * 批量更新记录 
     * @param orders:
     */  
    void batchUpdate(List<Order> orders);  

    /** 
     * 批量删除 
     * @param orders
     */  
    void batchDelete(List<Order> orders);  


}  

dao的实现类：

@Repository("orderBatchDao ")  
public class OrderBatchDaoImpl implements  
        IOrderBatchDao {  
    static Logger logger = LogManager.getLogger(OrderBatchDaoImpl .class);  

    @Resource(name = "reconTransBaseSqlSessionTemplate")  
    private SqlSessionTemplate sqlSessionTemplate;  

    @Override  
    public void saveAll(List<Order> orders) {  
        SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);  
        IOrderBatchDao dao = session.getMapper(IOrderBatchDao .class);  
        int size = orders.size();  
        try {  
            for (int i = 0; i < size; i++) {  
                dao.save(orders.get(i));  
                if (i % 1000 == 0 || i == size - 1) {  
                    //手动每1000个一提交，提交后无法回滚  
                    session.commit();  
                    //清理缓存，防止溢出  
                    session.clearCache();  
                }  
            }  
        } catch (Exception e) {  
            logger.error("批量保存失败：" ,e);  
            session.rollback();  
        } finally {  
            session.close();  
        }  
    }  

    @Override  
    public void batchUpdate(List<Order> orders) {  
        SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);  
        IOrderBatchDao dao = session.getMapper(IOrderBatchDao .class);  
        int size = orders.size();  
        try {  
            for (int i = 0; i < size; i++) {  
                dao.update(orders.get(i));  
                if (i % 500 == 0 || i == size - 1) {  
                    //手动每500个一提交，提交后无法回滚  
                    session.commit();  
                    //清理缓存，防止溢出  
                    session.clearCache();  
                }  
            }  
        } catch (Exception e) {  
            session.rollback();  
        } finally {  
            session.close();  
        }  
    }  

    @Override  
    public void batchDelete(List<Order> orders) {  
        SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);  
       IOrderBatchDao dao = session.getMapper(IOrderBatchDao .class);  
        int size = orders.size();  
        try {  
            for (int i = 0; i < size; i++) {  
                dao.delete(orders.get(i).getOrderId());  
                if (i % 1000 == 0 || i == size - 1) {  
                    //手动每1000个一提交，提交后无法回滚  
                    session.commit();  
                    //清理缓存，防止溢出  
                    session.clearCache();  
                }  
            }  
        } catch (Exception e) {  
            session.rollback();  
        } finally {  
            session.close();  
        }  
    }  

}  

使用的时候只需要在service里面调用dao就可以了。

对于批量新增， 也可以在mapper.xml中配置方法， 实现批量新增。

<insert id="saveAll" parameterType="java.util.List">  
        INSERT INTO order(last_name,email,gender,d_id)  
        VALUES   
        <foreach collection="order" item="order" separator=",">  
            (#{order.lastName},#{order.email},#{order.gender},#{order.dept.id})  
        </foreach>  
</insert>