MyBatis批处理分仳次插入数据

原创 2016年04月09日 14:55:42

在有大量数据操作时,同时发几万至几百条数据同时,执行insert,update时,没有及时commit,释放资源,会干挂掉数据库服务器的,所以我们有必要,分批次处理数据的插入和更新

public class StudentTest {

	private static Logger logger = Logger.getLogger(StudentTest.class);
	private SqlSession sqlSession = null;
	private StudentMapper studentMapper = null;

	/**
	 * 测试方法前调用
	 * 
	 * @throws Exception
	 */
	@Before
	public void setUp() throws Exception {
		sqlSession = SqlSessionFactoryUtil.openSession();
		studentMapper = sqlSession.getMapper(StudentMapper.class);
	}

	/**
	 * 测试方法后调用
	 * 
	 * @throws Exception
	 */
	@After
	public void tearDown() throws Exception {
		sqlSession.close();
	}

	@Test
	public void batchInsertStudentPage() {
		List<Student> list = new ArrayList<Student>();
		for (int i = 0; i < 10; i++) {
			Student student = new Student();
			student.setId(i);
			student.setName("test" + i);
			list.add(student);
		}
		try {
			save(list);
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}

	// 分批次插入
	private void save(List<Student> uidCodeList) throws Exception {
		SqlSession batchSqlSession = null;
		try {
			batchSqlSession = SqlSessionFactoryUtil.openSession();// 获取批量方式的sqlsession
			int batchCount = 1000;// 每批commit的个数
			int batchLastIndex = batchCount - 1;// 每批最后一个的下标
			for (int index = 0; index < uidCodeList.size() - 1;) {
				if (batchLastIndex > uidCodeList.size() - 1) {
					batchLastIndex = uidCodeList.size() - 1;
					batchSqlSession.insert("com.mybatis.mappers.StudentMapper.batchInsertStudent", uidCodeList.subList(index, batchLastIndex + 1));
					batchSqlSession.commit();
					System.out.println("index:" + index + "     batchLastIndex:" + batchLastIndex);
					break;// 数据插入完毕,退出循环

				} else {
					batchSqlSession.insert("com.mybatis.mappers.StudentMapper.batchInsertStudent", uidCodeList.subList(index, batchLastIndex + 1));
					batchSqlSession.commit();
					System.out.println("index:" + index + "     batchLastIndex:" + batchLastIndex);
					index = batchLastIndex + 1;// 设置下一批下标
					batchLastIndex = index + (batchCount - 1);
				}
			}
		} finally {
			batchSqlSession.close();
		}
	}}

}
接口

public interface StudentMapper {
	public int batchInsertStudent(List<Student> list);
}

Mapper

<mapper namespace="com.mybatis.mappers.StudentMapper">

	<!-- 
	1,size:表示缓存cache中能容纳的最大元素数。默认是1024; 
	2,flushInterval:定义缓存刷新周期,以毫秒计; 
	3,eviction:定义缓存的移除机制;默认是LRU(least recently userd,最近最少使用),还有FIFO(first in first out,先进先出) 
	4,readOnly:默认值是false,假如是true的话,缓存只能读。 -->
	<cache size="1024" flushInterval="60000" eviction="LRU" readOnly="false" />
	<resultMap type="Student" id="StudentResult">
		<id property="id" column="id" />
		<result property="name" column="name" />
	</resultMap>
	<!-- 批量更新 -->
	<insert id="batchInsertStudent" parameterType="List">
		insert into /*+append_values */ t_student(id,name)
		<foreach collection="list" item="item" index="index"
			separator="union all">
			select #{item.id}, #{item.name} from dual
		</foreach>
	</insert>
</mapper>

实体类

public class Student implements Serializable {

	private Integer id;
	private String name;
	private String remark;// clob

	public Student() {
		super();
		// TODO Auto-generated constructor stub
	}

	public Student(Integer id, String name) {
		super();
		this.id = id;
		this.name = name;
	}

	public Student(String namee) {
		super();
		this.name = name;
	}

	public Integer getId() {
		return id;
	}

	public void setId(Integer id) {
		this.id = id;
	}

	public String getName() {
		return name;
	}

	public void setName(String name) {
		this.name = name;
	}
	
	public String getRemark() {
		return remark;
	}

	public void setRemark(String remark) {
		this.remark = remark;
	}

	@Override
	public String toString() {
		return "Student [id=" + id + ", name=" + name + ", remark=" + remark + "]";
	}

}

 SqlSessionFactionUtil

public class SqlSessionFactoryUtil {

	private static SqlSessionFactory sqlSessionFactory;

	public static SqlSessionFactory getSqlSessionFactory() {
		if (sqlSessionFactory == null) {
			InputStream inputStream = null;
			try {
				inputStream = Resources
						.getResourceAsStream("mybatis-config.xml");
				sqlSessionFactory = new SqlSessionFactoryBuilder()
						.build(inputStream);
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
		return sqlSessionFactory;
	}

	public static SqlSession openSession() {
		return getSqlSessionFactory().openSession();
	}
}
说明:本人于ITEYE创建于2014年,现转移到CSDN


版权声明:本文为博主原创文章,未经博主允许不得转载。

MyBatis批量插入和性能问题

介绍在Mybatis中批量插入容易出现的性能隐患
  • yangkang029
  • yangkang029
  • 2016年08月17日 16:22
  • 10787

java批处理程序分析

数据库 java 批处理
  • w450093854
  • w450093854
  • 2017年04月16日 17:50
  • 223

JDBC中使用批处理处理大量的插入数据操作

JDBC之使用批处理处理大量数据  在JDBC的操作中,如果我们需要一下子插入或者删除大量的数据的话,那么我们就可以使用批处理。在这里需要注意的是,需要将手动提交设置为false;并且使用State...
  • li12412414
  • li12412414
  • 2016年08月13日 01:07
  • 1608

Mybatis与JDBC批量插入MySQL数据库性能测试及解决方案

系统中需要批量生成单据数据到数据库表,所以采用批量插入数据库的方式。由于系统中ORM操作集成使用的是Mybatis来完成的。在实际生产中发现,使用Mybatis批量插入调用的效率并不高,于是我们迫切地...
  • boonya
  • boonya
  • 2017年04月13日 14:37
  • 4780

mybatis 使用经验小结,batch批量提交大量数据

一、多数据源问题 主要思路是把dataSource、sqlSesstionFactory、MapperScannerConfigurer在配置中区分开,各Mapper对应的包名、类名区分开 ...
  • Java_Mr_Zheng
  • Java_Mr_Zheng
  • 2016年01月07日 15:36
  • 22522

mybatis中批量插入的两种方式(高效插入)

MyBatis简介 MyBatis是一个支持普通SQL查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可...
  • e_wsq
  • e_wsq
  • 2017年01月11日 16:07
  • 16021

Mybatis 大数据量的批量insert解决方案

关于Mybatis 大数据量批量insert解决方案
  • wlwlwlwl015
  • wlwlwlwl015
  • 2015年12月10日 16:24
  • 35016

mybatis数据批量插入

首先看看批处理的mapper.xml文件 SELECT CURRENT_TIMEST
  • tylai520
  • tylai520
  • 2011年09月09日 12:03
  • 61178

java mybatis mapper批量插入数据,insert/update/映射属性字段

@MapperEngine public interface BBINBetsLstMapper { public void replaceBBinBet (List list); }...
  • liqi_q
  • liqi_q
  • 2016年11月19日 14:39
  • 1918

Mybatis 3+Mysql 实现批量插入

终于实现了ibatis的批量插入,此方法插入3000条数据,比单条插入可以节省一半的时间 XML代码: insert intouser(id,account,password,active,...
  • educast
  • educast
  • 2015年01月07日 21:37
  • 26713
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MyBatis批处理分仳次插入数据
举报原因:
原因补充:

(最多只允许输入30个字)