与lucene亲密接触第二集，关于jdbc的一个疑惑

继续咱们的lucene之旅，

今天结合jdbc把数据库中的内容建到倒排序索引文件去。使用jdbc的时候出现了一个疑惑，调了半天也没明白。

 

我有一个类 Db负责与数据库交互，在构造的时候建立数据库连接池，然后通过这个类的其他方法对数据库进行交互。

我有大概20万条表记录需要插到lucene的倒排序文件中，

然后思路很简单，我直接遍历数据库。

 

由于内存有限，我不可能直接读出整个数据库来索引，于是采取的分块进行。每次读出若干条，建索引，释放，然后读出下N条……

问题出现了，我发现不一会儿，java就内存溢出了！

仔细找了几遍代码，发现该释放的都释放了。。只是没有释放数据库连接池，于是我怀着很怀疑的态度，在每次处理一个块之后重建连接池，居然就没有溢出了！

 

按道理说数据库连接池不释放掉应该是不占查询内容的，只要将数据库查询的result释放就可以了，于是这个问题。。百思不得其解，先将代码贴上来，以后持续关注该问题。（这是每次释放，不会内存溢出的代码）

 

Db.class

 

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import com.mysql.jdbc.*; //用于封装对数据库操作 public class Db { private Connection conn = null; private static String userName = "cg"; private static String password = "XXXXXX"; private static String databaseIP = "192.168.25.152"; private static String databaseName = "medias"; //数据库查询结果 //private ResultSet rset = null; PreparedStatement pstmt = null; ///初始化数据库链接 public Db() { this.Init(); } public void Init() { try{ String url = "jdbc:mysql://"+ databaseIP + "/" + databaseName; Class.forName ("com.mysql.jdbc.Driver").newInstance(); conn = DriverManager.getConnection (url, userName, password); System.out.println ("数据库初始化成功"); } catch( Exception e){ e.printStackTrace(); System.err.println(e.toString()); } } public ResultSet Begin( long start,long size ) { String exec = "select * from media limit " + String.valueOf(start) + "," + String.valueOf(size); ResultSet rset=null; try { pstmt = conn.prepareStatement(exec); rset=pstmt.executeQuery(); } catch( Exception e ){} return rset; } public Movie Next(ResultSet rset) throws SQLException{ Movie result = new Movie(); if( rset.next()) { result.title = rset.getString("title"); String id = rset.getString("media_id"); String exec = "select * from media_source where movie_id=" + id; try { PreparedStatement pstmt = conn.prepareStatement(exec); ResultSet rset2=pstmt.executeQuery(); //对media_source操作 while( rset2.next() ) { MovieTip tip = new MovieTip(); tip.url = rset2.getString("source_url"); result.AddTip(tip); } rset2.close(); } catch( Exception e ) { System.err.println(e.toString()); } return result; } else { pstmt.close(); result.isFinish = true; return result; } } //关闭数据库 public void Close() { if (conn != null) { try { conn.close (); System.out.println ("数据库关闭"); } catch (Exception e) { /* ignore close errors */ } } } }

 

调用相关代码

 

try { System.out.println("正在添加第"+start+"到"+(start+size)+"条记录"); indexWriter = new IndexWriter(indexDir, luceneAnalyzer, false, IndexWriter.MaxFieldLength.LIMITED); Db dbQueryer = new Db();//初始化数据库连接器 //dbQueryer.Init(); ResultSet rs=dbQueryer.Begin(start, size); while( true ) { Movie movie = dbQueryer.Next(rs); if( movie.isFinish == true ) break; else { Document document = new Document(); String urllist = ""; for(int i=0;i<movie.sources.size();i++) { MovieTip tip = (MovieTip)(movie.sources.get(i)); urllist += tip.url + "<br>"; } Field FieldTitle = new Field("title", movie.title, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldUrl = new Field("url", urllist, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS); //System.out.println(movie.title); document.add(FieldTitle); document.add(FieldUrl); indexWriter.addDocument(document); } } rs.close(); indexWriter.optimize(); indexWriter.close(); dbQueryer.Close(); System.out.println("添加成功");