如何使用JDBC快速处理大数据

最新推荐文章于 2023-02-22 16:30:29 发布
最新推荐文章于 2023-02-22 16:30:29 发布
阅读量288 收藏
点赞数
文章标签： 大数据 数据库
在实习工作中，要处理一张存有204万记录的表，由于记录是从互联网上取到的，所以里面有一些不太理想的词，比如一些词里混有特殊字符，标点符号，或者有些词根本就是标点符号等等。我写这个程序的目的就是把这些不理想的词找出来，能修改的就修改，没有必要修改的就直接删除。 
for(int i=0;i<205;i++)
			{
				String sql="select * from cat_keyword order by id limit "+i*10001+",10000";			
				String best="select * from cat_keyword where id>=(select id from cat_keyword order by id limit "+i*10001+",1)limit 10000";
				rs=stmt.executeQuery(best);
				go.filt(rs);
			}

经试验，第一条sql语句的执行效率是明显不如第二条的。

String best="select * from cat_keyword where id>=(select id from cat_keyword order by id limit "+i*10001+",1)limit 10000";

这条SQL语句尤其适用于offset特别大的情景，因为200多万条记录，到中后期，这个offset是很大的，使用未经优化的SQL语句，到后期是越来越慢。

另外limit的取值也很有考究，我试过1000,10000,70000,100000的，最后发现limit取10000的时候速度是最快的，这个跟数据的大小，电脑以及数据库内存的分配都有一定的关系，大家可以根据具体情况具体讨论。我这里仅仅提一下需要注意，可以优化的point。

我真正想说的是我想的另外一种解决方案，运用JDBC

下面给大家说下我这个程序的构造，首先是一个实现将需要删除和修改的词插入另一张表的方法

//将找到的违规词插入cat_garbage表里
   public void insert(ResultSet rs) throws SQLException
   {
	   Connection conn=null;
		Statement stmt=null;
	   try{			
			conn=Good.getConnection();
				stmt = conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE
	 				, ResultSet.CONCUR_UPDATABLE);
				String query="select * from cat_garbage where id='"+rs.getInt("id")+"'";
				ResultSet rst=stmt.executeQuery(query);
				if(!rst.next())
				{
					String sql1="insert into cat_garbage(id,cid,name,keyword) values('"+rs.getInt("id")+"','"+rs.getInt("cid")+"','"+rs.getString("name")+"','"+rs.getString("keyword")+"')";
					stmt.executeUpdate(sql1);
				}
		}
		catch(SQLException|ClassNotFoundException|IOException e)
		{
			e.printStackTrace();
		}
		finally
		{
			if(stmt!= null) 
				stmt.close(); 		
			if(conn!= null) 
				conn.close(); 
		}
   }
然后是一个将可以修复的词修复的方法 

public void modify(ResultSet rs,String str,String reg) throws SQLException
   {
	  
	   Connection conn=null;
	   Statement stmt=null;
	   Statement stmt1=null;
	   try{					
		    conn=Good.getConnection();
			stmt = conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE
	 				, ResultSet.CONCUR_UPDATABLE);
			stmt1= conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE
	 				, ResultSet.CONCUR_UPDATABLE);
			String ok=null;
			if(str.indexOf(reg)==str.length()-1)
			{
				 ok=str.substring(0,str.indexOf(reg));
				 System.out.println(ok);
				 System.out.println(ok);
				 System.out.println(1);
			}
			else if(str.indexOf(reg)==0)
			{
				 ok=str.substring(1);
				 while(ok.indexOf(reg)!=-1)
					  ok=ok.substring(1);
				 System.out.println(2);
			}
			else
			{
				System.out.println(3);
				System.out.println(str);
				ok=str.substring(0,str.indexOf(reg));
				
			}
			System.out.println(ok);
			new Good().insert(rs);
			//String query="select * from cat_keyword where cid='"+rs.getInt("cid")+"'and keyword='"+ok+"'";
			String sql="update cat_garbage1 set new='"+ok+"' where id='"+rs.getInt(1)+"'";
			//String sql1="update cat_keyword set keyword='"+ok+"' where id='"+rs.getInt("id")+"'";
			stmt.executeUpdate(sql);
	   }
		
		catch(SQLException|ClassNotFoundException|IOException e)
		{
			e.printStackTrace();
		}
		finally
		{
			if(stmt!= null) 
				stmt.close(); 	
			if(stmt1!= null) 
				stmt1.close(); 
			if(conn!= null) 
				conn.close(); 
		}
   }

最后就是一个核心的取词过滤方法，里面有很多正则表达式实现的取词规则。 

public void filt(ResultSet rs)
	{		
	 try
	  {
		String str;		
		double a=0;double b=0;double c=0;double d=0;
		int num=0;
		Good good=new Good();
		while(rs.next())
	   {	
		str=rs.getString("keyword");
		if(str.equals(",")|str.equals(".")|str.equals(":")|str.equals("-")|str.equals("=")|str.equals("+")|str.equals("*")|str.equals("/")|str.equals("?")|str.equals("|")|str.equals("\\")|str.equals("%")|str.equals("#")|str.equals("!")||str.equals("~")||str.equals("、"))
		{
			good.insert(rs);
			a++;
		}
		//字符串后面带逗号
		if(rule(str,"^\\S+[,]$").matches())
		{
			good.modify(rs,str,",");
			num++;
		}
		//字符串后面带句号
		if(rule(str,"^\\S+[.]$").matches())
		{
			good.modify(rs,str,".");
			num++;
		}
		//字符串前面带句号
		if(rule(str,"^[.]\\S+$").matches())
		{
			System.out.println(123);
			if(str.indexOf(".net")==-1)
			{
				if(str.indexOf(".com")==-1)
				{
					if(str.indexOf(".cn")==-1)
					{
						if(str.indexOf(".org")==-1)
						{
							good.modify(rs, str, ".");
							num++;
						}
					}
				}
			}
		}
		//字符串后面带-
		if(rule(str,"^\\S+[-]$").matches())
		{
			good.modify(rs, str, "-");
			num++;
		}
		//字符串前面带-
		if(rule(str,"^[-]\\S+$").matches())
		{
			good.modify(rs, str, "-");
			num++;
		}
		//字符串前面带冒号
		if(rule(str,"^[:]\\S+$").matches())
		{
			good.modify(rs, str, ":");
			num++;
		}
		//字符串后面带冒号
		if(rule(str,"^\\S+[:]$").matches())
		{
			good.modify(rs, str, ":");
			num++;
		}
		//字符串后面带/
		if(rule(str,"^\\S+[/]$").matches())
		{
			good.modify(rs, str, "/");
			num++;
		}
		//字符串前面带/
		if(rule(str,"^[/]\\S+$").matches())
		{
			good.modify(rs, str, "/");
			num++;
		}
		//字符串后面带？
		if(rule(str,"^\\S+[?]$").matches())
		{
			good.modify(rs, str, "?");
			num++;
		}
		//字符串前面带？
		if(rule(str,"^[?]\\S+$").matches())
		{
			good.modify(rs, str, "?");
			num++;
		}
		//字符串前面带|
		if(rule(str,"^[|]\\S+$").matches())
		{
			good.modify(rs, str, "|");
			num++;
		}
		//字符串后面带|
		if(rule(str,"^\\S+[|]$").matches())
		{
			good.modify(rs, str, "|");
			num++;
		}
		//字符串前面带(
		if(rule(str,"^[(][\\S\\s]+$").matches())
		{
			if(rule(str,"^[(]\\S+[)]\\S*$").matches())
			{
				str=str.replaceAll("\\)", " ");
				good.modify(rs, str, "(");
				num++;
			}
			else
			{
				good.modify(rs, str, "(");
				num++;
			}
		}
		//字符串前面带[
		if(rule(str,"^[\\[][\\S\\s]+$").matches())
		{
			if(rule(str,"^[\\[]\\S+[\\]]\\S*$").matches())
			{
				str=str.replaceAll("\\]", " ");
				good.modify(rs, str, "[");
				num++;
			}
			else
			{
				good.modify(rs, str, "[");
				num++;
			}
		}
		//字符串后面带)或者里面带()
		if(rule(str,"^\\S+\\s*\\S+[)]$").matches())
		{
			System.out.println("qwe");
			if(rule(str,"^\\S+[(]\\S+[)]$").matches())
			{
				str=str.replaceAll("\\(", " ");
				good.modify(rs, str, ")");
				num++;
			}
			else if(rule(str,"^\\S+\\s*[(]\\S+[)]$").matches())
			{
				str=str.replaceAll("\\(", "");
				good.modify(rs, str, ")");
				num++;
			}
			else
				{
					good.modify(rs, str, ")");
					num++;
				}
		}
		//字符串后面带]或者里面带[]
				if(rule(str,"^\\S+\\s*\\S+[\\]]$").matches())
				{
					System.out.println("qwe");
					if(rule(str,"^\\S+[\\[]\\S+[\\]]$").matches())
					{
						str=str.replaceAll("\\[", " ");
						good.modify(rs, str, "]");
						num++;
					}
					else if(rule(str,"^\\S+\\s*[\\[]\\S+[\\]]$").matches())
					{
						str=str.replaceAll("\\[", "");
						good.modify(rs, str, "]");
						num++;
					}
					else
						{
							good.modify(rs, str, "]");
							num++;
						}
				}
		//字符串内包含书名号
		if(rule(str,"^[\\s\\S]*[《][\\s\\S]+[》]").matches())
		{
			str=str.replaceAll("》", " ");
			good.modify(rs, str, "《");
			num++;
		}
		//字符串内包含中文（）
		if(rule(str,"^[\\s\\S]*[（][\\s\\S]+[）]").matches())
		{
			str=str.replaceAll("（", " ");
			good.modify(rs, str, "）");
			num++;
		}
		//纯数字
		if(rule(str,"^[1-9]*|0$").matches())
		{
			good.insert(rs);
			b++;
		}
		//单字母
		if(rule(str,"^[a-zA-Z]$").matches())
		{
			int flag=0;
			String shit=rs.getString(3);
			for(int i=0;i<shit.length();i++)
				{
					if(str.charAt(0)!=shit.charAt(i))				
					flag++;							
					if(flag==shit.length())
					{
						good.insert(rs);
						c++;						
					}				
				}
		}
		//单汉字
		if(rule(str,"^[\u4e00-\u9fa5]$").matches())
		{
			int flag=0;
			String shit=rs.getString(3);
			for(int i=0;i<shit.length();i++)
			{				
				if(str.charAt(0)!=shit.charAt(i))										
				flag++;													
				if(flag==shit.length())
				{
					good.insert(rs);
					d++;						
				}									
			}					
		}
	  }
		System.out.println("单标点百分比："+100*a/2046036+"%");
		System.out.println("纯数字百分比："+100*b/2046036+"%");
		System.out.println("单字母百分比："+100*c/2046036+"%");
		System.out.println("单汉字百分比："+100*d/2046036+"%");
		System.out.println(num);
		}
		catch(SQLException e)
		{
			e.printStackTrace();
		}	
	 	
	}
下面是程序的主方法 

public static void main(String[] args) throws SQLException 
	{
		Connection conn=null;
		Statement stmt=null;
		try{
			long a=System.currentTimeMillis();
			ResultSet rs;
			conn=Good.getConnection();
			stmt = conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE
     				, ResultSet.CONCUR_UPDATABLE);
			Good go=new Good();
			/*for(int i=0;i<205;i++)
			{
				//String sql="select * from cat_keyword order by id limit "+i*10001+",10000";			
				String best="select * from cat_keyword where id>=(select id from cat_keyword order by id limit "+i*10001+",1)limit 10000";
				rs=stmt.executeQuery(best);
				go.filt(rs);
			}*/
			String sql="select * from cat_keyword";
			rs=stmt.executeQuery(sql);
			go.filt(rs);
			long b=System.currentTimeMillis();
			System.out.println("耗时： "+(b-a)/60000+"分钟");
			}
		catch(ClassNotFoundException|SQLException|IOException e)
		{
			e.printStackTrace();
		}
		finally
		{
			if(stmt!= null) 
				stmt.close(); 		
			if(conn!= null) 
				conn.close(); 
		}
	}
用一个SQL语句，将整个表的数据一次性作为参数传给负责取词过滤的filt()方法，然后利用ResultSet rs这个指针依次向下对每个词进行处理， 这个方案运行下来处理完全表204万记录只需11分钟，而是用优化之后的limit语句获得的结果集再传给filt()方法那个方案，却需要26分钟。可见使用JDBC，直接传入所有数据的结果集，比使用limit多次限量导入数据要快的多，而且不止是一倍的关系。前者11分钟完胜后者的26分钟。




iteye_12675
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用JDBC在MySQL数据库中如何快速批量插入数据
09-09
在Java的JDBC API中，批量处理是一种提升数据库操作性能的有效方式，特别是在处理大量数据时。本篇文章将详细讲解...通过以上策略，我们可以有效地利用JDBC进行批量插入，显著提升在MySQL数据库中处理大数据的速度。
JDBC--05--MySQL大数据量操作---常规查询、游标查询、流式查询,
时光里的博客
06-28 4383
MySql JDBC 大数据量操作 Java Web 程序里，能够被称为大数据量的，几十万到千万不等，再高的话 Java（WEB 应用）处理就不怎么合适了 举个例子，现在业务系统需要从 MySQL 数据库里读取 500w 数据行进行处理，应该怎么做? 常规查询，一次性读取 500w 数据到 JVM 内存中，或者分页读取 流式查询，建立长连接，利用服务端游标，每次读取一条加载到 JVM 内存 游标查询，和流式一样，通过 fetchSize 参数，控制一次读取多少条数据 常规查询 默认情况下，完整的检索
MySQL性能调优
weixin_41249041的博客
10-27 305
一：插入优化 提高数据库插入性能中心思想： 1、尽量使数据库一次性写入Data File 2、减少数据库的checkpoint 操作 3、程序上尽量缓冲数据，进行批量式插入与提交 4、减少系统的IO冲突 从sql上，性能综合测试 提升性能三种方法进行INSERT效率优化的测试： 合并SQL语句插入：合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，...
spring 回调jdbc 进行大批量数据 查询，修改，添加
滴水成海
06-24 4526
/**  * @author lxh  *2011-5-27  *  大数据查询  */ public List findAllbyOrgUserbean() {  log.debug("finding all OrgUser instances");  try {   final String queryString = "select USERID,USERNAME,DISPLAYNAME,"
用jdbc实现对大规模数据的快速存储
zhen921的博客
03-31 568
            用jdbc虽然对程序开发效率较低，由于其封装性较低，其在数据存储访问时具有更高的性能，这点上是其他orm框架不能比拟的，因此如果对数据存取性能要求高，存取量巨大时直接使用jdbc编写程序则满足需求。存取大量数据时用update效率还是很低的，建议使用addBatch实例如下                conn.setAutoCommit(false);//把自动提交改为...
jdbc插入大量数据时优化处理(转)
xiashan17的专栏
12-02 7882
这个就是做个练习.想看下JDBC的最大优化度.我的要求就是插入到数据库里大量的数据 比如10W 或者 100W 而且要求内存稳定.首先说下我的代码:我的数据库MySQL  CREATE TABLE `users` ( `id` int(11) NOT NULL auto_increment, `firstname` varchar(50) NOT NULL, `lastname` varchar(50) NOT NULL, `age` int(11) NOT NULL, PRI
sybase分页代码使用jdbc分页速度快适合大数据
04-22
在处理大数据时，分页查询是数据库操作中的一个重要策略，特别是在Web应用中，它能有效减少数据传输量，提高用户体验。Sybase是一个流行的商业关系型数据库管理系统，它支持多种编程接口，包括Java的JDBC（Java ...
大数据之接口框架基本要求
最新发布
06-14
例如，可以使用JDBC/ODBC连接关系型数据库，使用Kafka或RabbitMQ等消息中间件来处理消息队列。 #### 七、支持多种数据格式 数据格式的多样性是大数据处理的一个显著特点。为了确保数据的互通性和可交换性，大数据...
大数据开发工程师实习报告.doc
04-26
总的来说，大数据开发工程师实习不仅要求扎实的技术基础，还需要不断学习和适应快速发展的大数据技术，以及良好的团队合作和问题解决能力。通过这样的实习经历，学生能够在实践中提升自己的综合素质，为未来的职业...
Hive-jdbc-3.1.1.zip
11-20
总之，Hive JDBC 3.1.1是大数据开发中的一个重要组件，它使得Hive能够无缝集成到各种Java应用程序中，提供了一种灵活且高效的处理大数据的方式。对于需要处理PB级别数据的项目，Hive JDBC是不可或缺的工具。
jdbc处理大数据
海恩的博客
04-30 126
clob 给一个文件，clob可以把整个文件内容写进去，容量大约几个G 项目实例：idea项目jdbc->com.java1234->sixthji2->Clob 文本类型必须用notepad写，编码设置成utf-8，不要用记事本blog 存二进制文件，容量是好几个G 项目实例：idea项目ideaProjects->src.main.java.c...
使用原生jdbc向数据库插入1000w条数据
weixin_46591962的博客
02-22 443
大量数据插入数据库
JDBC学习笔记（五）—— 批量处理数据
kuaixiao0217的博客
04-18 1756
关于JDBC中批量插入数据的操作
15. JDBC进阶 — 批量处理JDBC语句提高处理速度
散场前的温柔的博客
05-19 326
JDBC进阶   —— 批量处理JDBC语句提高处理速度 当需要成批插入或者更新记录时，可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率。 JDBC的批量处理语句包括下面两个方法： addBatch(String); 添加需要批量处理的SQL语句或是参数 executeBatch(); 执行批量处理语句 通常我们会遇到两种批量执行SQL语句的情况： 多条SQL语句的批量处理 一个SQL语句的批量传参 MySQL不太适用这种批量处理，效果
JDBC mysql大数据量流式读取
热门推荐
岁月静好
02-04 1万+
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包，发现也是发送sql后立即有数
JDBC大数据量批量执行
扛麻袋的少年的博客
02-29 1567
MyBatis笔记(四)：        本文为使用 原生JDBC 批量执行大数据量 Demo。以下代码，博主未做测试，此处仅用来收藏，方便以后使用。 /** * JDBC 批量执行Demo */ @Test public void testJdbcBatch() throws Exception { Connection conn = nul...
Java Web基础入门第五十一讲 使用JDBC处理MySQL大数据
李阿昀的博客
08-24 1741
基本概念大数据也称之为LOB(Large Objects)，LOB又分为： clob clob用于存储大文本。 blob blob用于存储二进制数据，例如图像、声音、二进制文件等。 在实际开发中，有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。 对MySQL而言只有blob，而没有clob，MySQL存储大文本采用的是Text，Text和blob分别又分为： TINYTEXT
jdbc大数据量时处理速度的比较
thread
09-11 1580
在预编译空间够的情况下 使用预编译+addBatch &gt; 纯预编译 &gt; 原生sql语句
大数据时代：Impala：快速SQL引擎的崛起
Impala的一大亮点是与Hive Metastore的兼容性，允许直接利用Hive的资源，例如JDBC连接和beeline工具，方便数据分析师的使用。 对于数据开发人员而言，他们通常负责数据导入、管理和表结构定义。在Impala中，他们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值