批量添加sql语句去重复记录

最新推荐文章于 2022-11-12 07:00:00 发布
最新推荐文章于 2022-11-12 07:00:00 发布
阅读量152 收藏
点赞数
原文链接：https://my.oschina.net/u/2526634/blog/537425
版权 
package com.as.upgrade;

import java.io.FileInputStream;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

public class Tools {

		
		private static Connection conn = null;
		public static PreparedStatement ps = null;
		private static ResultSet rs = null;
		/*
		 * 读取本地txt文件
		 * sqlFile 文件路径
		 */
		public static List<String> loadFile(String sqlFile) throws Exception{
			
			// 创建list集合
			List<String> sqlList = new ArrayList<String>();
			
			// 读取文件的内容并写道StringBuffer中去
			InputStream sqlFileIn = new FileInputStream(sqlFile);
			
			// 创建StringBuffer
			StringBuffer sqlSb = new StringBuffer();

			// 创建byte数组
			byte[] buff = new byte[sqlFileIn.available()];
			
			int byteRead = 0;

			while ((byteRead = sqlFileIn.read(buff)) != -1) {

				sqlSb.append(new String(buff, 0, byteRead));

			}
			//去除字符
			String sqlArr[] = sqlSb.toString().split("(;\\s*\\rr\\n)|(;\\s*\\n)");

			for (int i = 0; i < sqlArr.length; i++) {

				String sql = sqlArr[i].replaceAll(" --.* ", "").trim();

				if (!"".equals(sql)) {

					sqlList.add(sql);
				}
			}
			return sqlList;
		}

		
		/*
		 * 查询siterule表取id
		 * 放入list集合
		 */
		
		public static List<String> getSiterulebyId() throws Exception{
			
			//创建list集合
			List<String> list = new ArrayList<String>();
			
			//获取数据库连接
			conn = jdbcuitl.getConnection();
			
			//sql语句
			String sql = "select id from siterule";
			
			try {
				
				//创建prepareStatement
				ps = conn.prepareStatement(sql);
				
				//执行
				rs = ps.executeQuery();
			
				//循环打印
				while(rs.next()){
					//取id放入list集合
					list.add(rs.getString(1));
				}
				
				return list;
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
				return null;
			}finally{
				
				//释放连接
				if (rs != null)
					rs.close();
				if (ps != null)
					ps.close();
				if (conn != null)
					conn.close();
			}
		}
		
		/*
		 * 查询subject表取id
		 * 放入list集合
		 */
		public static List<String> getSubjectByid() throws Exception{
			
			//创建list集合
			List<String> list = new ArrayList<String>();
			
			//获取数据库连接
			conn = jdbcuitl.getConnection();
			
			//sql语句
			String sql = "select id from subject";
			
			try {
				
				//创建prepareStatement
				ps = conn.prepareStatement(sql);
				
				//执行
				rs = ps.executeQuery();
			
				//循环打印
				while(rs.next()){
					//取id放入list集合
					list.add(rs.getString(1));
				}
				
				return list;
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
				return null;
			}finally{
				
				//释放连接
				if (rs != null)
					rs.close();
				if (ps != null)
					ps.close();
				if (conn != null)
					conn.close();
			}
			
		}
}

package com.as.upgrade;

import java.sql.DriverManager;

import java.sql.Connection;

public class jdbcuitl {

		private static Connection connection = null;
		private static final String url = "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8";
		private static final String Driver = "com.mysql.jdbc.Driver";
		private static final String username = "root";
		private static final String password = "123456";
		
		public static Connection getConnection(){
			
			try {
				//加载驱动
				Class.forName(Driver);
				
				connection = DriverManager.getConnection(url,username,password);
				
			} catch (Exception e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			
			return connection;
		}
}

package com.as.upgrade;

import java.sql.Connection;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class SiteruleDatabase {
	
	
			private static Connection conn = null;
			private static Statement stmt = null;  
	
			/*
			 * siterule
			 * 读取文件    插入数据库  
			 * sqlFile  文件路径
			 */
			public void executeInsert(String sqlFile) throws Exception{
				
				//读取文件
				List<String> loadFile = Tools.loadFile(sqlFile);
				
				//创建map集合
				Map<String, String> map = new HashMap<String, String>();
				
				//迭代取ID放入map集合
				for (String string : loadFile) {
					//判断ID是否为空
					if(!"".equals(string.substring(string.indexOf("('")+2, string.indexOf("',")))){
						
						//截取ID存放Key,value存放sql语句
						map.put(string.substring(string.indexOf("('")+2, string.indexOf("',")), string);
					}else{
						continue;
					}
					
				}
				
				//调用Tools的getSiterulebyId()
				List<String> siterulebyId = Tools.getSiterulebyId();
				
				//遍历去除相同ID的sql
				for (String string : siterulebyId) {
					//删除相同ID
					map.remove(string);
				}
				
				
				try {
					
					//获取连接数据库
					conn = jdbcuitl.getConnection();  
					conn.setAutoCommit(false);  
					stmt = conn.createStatement();
					
					//遍历map集合
					for (String string : map.keySet()) {
						System.out.println(map.get(string));
						//批量添加
						stmt.addBatch(map.get(string));
					}
					
					//执行
					stmt.executeBatch();
					conn.commit();
					System.out.println("数据跟新成功");
				} catch (SQLException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
					conn.rollback();
				} finally{
					//释放连接
					if(conn!=null){conn.close();}
					if(stmt!=null){stmt.close();}
				}
					
			}
			
			//测试
			public static void main(String[] args) throws Exception {
				
				SiteruleDatabase insertDatabase = new SiteruleDatabase();
				insertDatabase.executeInsert("file/siterule.txt");
				
			}

}

package com.as.upgrade;

import java.sql.Connection;
import java.sql.Statement;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class SubjectDatabase {
	
	
	
			private static Connection conn = null;
			private static Statement stmt = null;  
			
			
			/*
			 * Subject
			 * 读取文件  插入数据库  
			 * sqlFile  文件路径
			 */
			public void executeInsert(String sqlFile) throws Exception{
					
					//读取文件
					List<String> loadFile = Tools.loadFile(sqlFile);
				
					//创建map集合
					Map<String, String> map = new HashMap<String, String>();
					
					//迭代取ID放入map集合
					for (String string : loadFile) {
						
						//截取ID存放Key,value存放sql语句
						map.put(string.substring(string.indexOf("('")+2, string.indexOf("',")), string);
					}
					
					//调用Tools的getSubjectByid()
					List<String> subjectByid = Tools.getSubjectByid();
					
					//遍历去重复
					for (String string : subjectByid) {
						//删除ID相同的key
						map.remove(string);
					}
					
					try {
						//获取连接数据库
						conn = jdbcuitl.getConnection();  
						conn.setAutoCommit(false);  
						stmt = conn.createStatement();
						
						//遍历map
						for (String string : map.keySet()) {
							//批量添加
							stmt.addBatch(map.get(string));
							System.out.println(map.get(string));
						}
						
						//执行
						stmt.executeBatch();
						conn.commit();
						System.out.println("数据添加成功!");
					} catch (Exception e) {
						// TODO Auto-generated catch block
						e.printStackTrace();
						conn.rollback();
					}finally{
						//释放连接
						if(conn!=null){conn.close();}
						if(stmt!=null){stmt.close();}
					}
			}
			//测试
			public static void main(String[] args) throws Exception {
				SubjectDatabase subjectDatabase = new SubjectDatabase();
				subjectDatabase.executeInsert("file/subject.txt");
				
			}
}


转载于:https://my.oschina.net/u/2526634/blog/537425

chunwoke9474
关注
SQL基本语句（整理）
weixin_43294936的博客
03-04 13万+
一、DDL(Data Definition Language) 数据定义语言，用来定义数据库对象（数据库，表，字段） ①查询 查询所有数据库 show databases; 查询当前数据库 select database(); ②创建 create database [if not exists] 数据库名 [default charset 字符集][collate 排序规则]; #中括号里的可加可不加，具体情况而定 #第一个是如果不存在相同名称的数据库则创建 #..
mysql重复查询最后一条数据_sql查询表里重复记录现取重复最后一条记录方法
weixin_33268725的博客
01-27 3602
SQL语句去掉重复记录，获取重复记录--查询一个表中有效去掉重复的记录，UserID为自增长主键，RoleID为重复字段代码如下SELECT MIN(UserID) AS UserID, RoleID FROM tmpTable GROUP BY RoleIDSELECT RoleID FROM tmpTable GROUP BY RoleID HAVING (COUNT(*) > 1)SE...
SQL：数据去重的三种方法
热门推荐
qq_35091353的博客
11-12 14万+
SQL中去除重复数据
list.add()添加的都是最后一条数据，重复
m0_37894088的博客
11-08 1万+
这个时候list的size正确，但是最后输出的值不是我们想的结果（0,1,2），而是重复的最后一次的结果 因为，new 在for外层，new 一个对象地址，List每次只访问这个引用地址，而我们的代码只是对引用地址里的对象进行操作，所以会数据覆盖，最后遍历只是把同一个地址的对象遍历了三次。   解决，在每次for循环是都new一个地址对象，每次赋值都是一个新的地址。 你学到了吗，你...
List 中添加多个List集合以及add() 与addAll()的区别
evilcry2012的专栏
04-10 5095
List 中添加多个List集合以及add() 与addAll()的区别 2012-12-14 13:59 5590人阅读 评论(0) 收藏 举报 listListLISTmvcMVC       如果有多个已经被实例化的List 集合，想要把他们组合成一个整体，并且，这里必须直接使用List 自身提供的一个方法List.addAll()，否则使用了List.add()方
SQL Server 批量删除重复记录（批量、快速、安全）
宁静致远
02-06 9793
利用分组排序，实现快速、安全、批量的删除重复记录
SQL语句-常用的sql语句生成器.zip
最新发布
02-21
在这个“SQL语句-常用的sql语句生成器.zip”压缩包中，很可能包含了一个工具或一系列资源，旨在帮助用户快速生成常见的SQL语句，从而简化数据库操作。 1. **SQL基础概念**： - **SELECT语句**：用于从数据库中检索...
添加各省市的sql语句
12-18
假设我们有一个名为`provinces_cities`的表，该表包含字段`province`（省份）和`city`（城市），那么添加一条新的省市记录的SQL语句可能如下所示： ```sql INSERT INTO provinces_cities (province, city) VALUES ...
MySQL 解决批量插入数据去重问题
多点折腾少点抱怨
07-14 1万+
情景 对大量的数据进行写入数据库操作时，会有这样的问题，如果有重复的数据这些数据有如下特征： - 完全一模一样 - 有部分不一样 解决思路： - 把数据表存在的数据先删除，在重新添加一份 - 一样的数据不跟新，部分不一样的数据跟新，完全不一样的插入 MySQL 中可以使用 REPLACE 和 INSERT ... ON DUPLICATE KEY UPDATE 语法实现如上的思路。 ...
SQL插入 去除重复记录的实现
BXA
06-23 5121
前言 　　最近的在做一个CS的项目后端使用了Oracle数据库，功能实现的过程中要求对SQL语句进行很好的处理，这就涉及到了今天的主题SQL插入时去除重复记录的实现，这里有两种方式提供给大家分别是 Merge Into，Not Exists。 内容 下面将通过两种方式来实现： 将 表A 与 表B 不重复的User信息 插入表B Merge Into MERGE INTO Table...
sql加上唯一索引后批量插入_批量insert into时防止更新插入重复数据去重的方法...
weixin_39830175的博客
12-22 1985
mySQL中批量insert into时防止更新插入重复数据去重的方法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种方法方案一：使用ignore关键字如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：INSERTIGNOREINTO`table_name`(`email`,`phone`,`u...
sql高效去重重复数据方法
kasim416的专栏
04-28 2905
方法源地址  http://bbs.csdn.net/topics/380088407  其中5楼版主的回答
sql如何去重插入新表
weixin_39720414的博客
06-26 1623
方法1：先建立一个同样字段的新表newtable，给指定data字段设置好unique约束使用如下sql语句将旧表的数据全部INSERT转移到新表，由于使用了IGNORE选项这样遇到重复数据会忽略，直到将所有数据插入
SQL简单的去重方法
u011983028的博客
03-08 691
delete tt from testuser tt INNER JOIN ( select id1 FROM ( SELECT t.id id1, t2.id id2, count(t.id) cnt FROM testuser t, testuser t2 WHERE t.`name` = t2.`name` AND t.idcard = t2.id...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值