MERGE INTO 解决数据入库前的去重

近几天被朋友问到一个问题：在向数据库中插入数据的时候，需要判断数据库中是否已经存在该条记录，不能通过主键来判断，只能通过几个特定属性来标记，即这几个属性和数据库中的某条记录的对应属性一致，那么就认为数据库中已经有了改记录，就不需要插入。他的处理方案是在插入之前，先带着这几个属性到数据库中select一下，如果存在，则不插入；否则，插入。当时没多想，认为这个select的操作不可避免，因为该表的记录不断变换，不好做缓存处理，只需要将该表的对应几个查询属性生成一个索引即可。

后来，上网搜索了一下，发现这条select语句是完全可以避免掉的。

实现方案很多，有临时表的，以及建立触发器的等等。但是针对没天只会插入几百条记录来说，使用Oracle提供的MERGE INTO 显的特别靠谱。

话不多述，直接写个测试代码：

package com.sqltest.test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.ArrayList;
import java.util.List;
/**
 * 
 * @author zhangxiaol
 *
 */
public class MainTest {
	public static void main(String[] args) {
		List<User> userList=new ArrayList<User>();
		//准备数据
		User user1=new User();
		user1.setUsername("Rose");
		user1.setAddress("江苏南京");
		user1.setEmail("rose@163.com");
		user1.setGender("0");
		user1.setMobile("2222222222220");
		userList.add(user1);
		
		
		User user2=new User();
		user2.setUsername("Mike");
		user2.setAddress("江苏徐州");
		user2.setEmail("mike@163.com");
		user2.setGender("1");
		user2.setMobile("33333333333333333333");
		userList.add(user2);
		//封装sql
		Connection conn=null;
		PreparedStatement pstmt=null;
		StringBuilder sql=new StringBuilder();
		sql.append("MERGE INTO core_user_info mainInfo ");
		sql.append("USING (select count(*) cn from core_user_info where username=? and address = ?) secInfo ");
		sql.append("ON (secInfo.cn > 0) ");
		sql.append("WHEN NOT MATCHED THEN  ");
		sql.append("INSERT  ");
		sql.append("(username,gender,address,email,mobile ) ");
		sql.append("VALUES (? , ? , ? , ? , ? ) ");
		try{
			//数据库连接
			Class.forName("");
			conn=DriverManager.getConnection("","","");
			pstmt=conn.prepareStatement(sql.toString());
			for(User u:userList){
				pstmt.setString(1, u.getUsername());
				pstmt.setString(2, u.getAddress());
				pstmt.setString(3, u.getUsername());
				pstmt.setString(4, u.getGender());
				pstmt.setString(5, u.getAddress());
				pstmt.setString(6, u.getEmail());
				pstmt.setString(7, u.getMobile());
				pstmt.addBatch();
			}
			pstmt.executeBatch();
			conn.close();
			System.out.println("Execute over!");
		}catch(Exception e){
			e.printStackTrace();
		}
	}
}