JDBC性能优化

jdbc程序的性能主要由两个因素决定,一是数据库本身的性质,另一个是与数据库相对独立的jdbc应用程序接口(api)的使用。这里说的是如何正确使用jdbc编程接口,以获得更好的性能。
  jdbc主要优化有:
  1.选择正确的jdbc驱动程序
  2.Connention的优化:使用连接池来管理Connection对象
  3.Statement的优化:使用批量更新等
  4.Result的优化:正确的从数据库中get数据等

  (1)选择正确的jdbc驱动程序:
  1、jdbc-odbc 桥
  2、本地api-部分 java驱动
  3、jdbc网路协议-纯java驱动
  4、jdbc本地协议
  最好选择 jdbc网路协议-纯java驱动  效率比较高  但需要第三方软件的支持 比如corba  weblogic属于这种类型

  (2)优化Connection对象:
  1、设置适当的参数
   DriverManager.getConnection(String url,Properties props);
   例如:
   Properties props=new Properties();
   props.put("user","wuwei");
   props.put("password","wuwei");
   props.put("defaultRowPrefectch","30");
   props.put("dufaultBatchValue","5");
   Connection con=DriverManager.getConnection("jdbc:oracle:thin:@hostsString",props);
   对象可以通过设置setDefaultRowPrefetch(int) 和 setDefaultBatchValue(int) 两个参数类优化连接
  2、使用连接池
   可以自己写一个连接池,这样程序的灵活性强,便于移植。
      apache项目开发了一套非常通用而表现非常稳定的对象池
http://jakarta.apache.org/commons/pool.htm
      设计了自己的连接池后,在客户端调用建立对象:
   public Object makeObject() throws Exception{
    Class.forName("oracle.jdbc.driver.OracalDriver");
    return DriverManager.getConnection("url","username","password");
   }
      销毁对象时用:
   public void destroyObject(Object obj) throws Exception{
    ((Connection)obj.close());
   }
   注意几点:对象池里有没有回收机制,对象池里有机有容量限制,对象池里有多少个闲置对象(可以释放)
  3、控制事务的提交
   最好手动提交事务,不但可以可以保证数据原子性,而且对新能提高留下余地。
   try{
    connection.setAutoCommint(false);
    // 代码用PreparedStatement性能比Statementh好
    connection.commit();
    connection.setAutoCommit(true);
   }catch(SQLException e){
   }finally{
    //代码
    if(connection!=null){
     connection.close(); 
    }
   }
  4、适当的选择事务的隔离级别
   TRANSACTION_READ_UNCOMMITED  性能最高
   TRANSACTION_READ_COMMITED    快
   TRANSACTION_REFEATABLE_READ  中等
   RANSACTION_SERIALIZABLE      慢

  (3)Statement 优化:
  jdbc3个接口用来处理sql的执行,是Statement PreparedStatement CallableStatement提供适当的Statement接口批量执行sql从数据库批量获取数据。
  PreparedStatement 比Statement性能要好 主要体现在一个sql语句多次重复执行的情况。
  PreparedStatemnt只编译解析一次而Statement每次编译一次。

  批量修改数据库
  Statement 提供方法addBatch(String)和executeBatch()
  调用方法为
  stmt.addBatch("isnert.....");
  stmt.addBatch("update.....");
  stmt.executeBatch();
  也可以用PreparedStatement从而更好的提高性能:
  pstmt=conn.preparedStatement("insert into test_table(......) values(....?)");
  pstmt.setString(1,"aaa");
  pstmt.addBatch();
  pstmt.setString(1,"bbb");
  pstmt.addBatch();
  .....
  pstmt.executeBatch();

  批量地从数据库中取数据:
  通过setFetchSize()和getFectchSize()方法来设定和查看这个参数,这个参数对体统的性能影响比较大。这个参数太小会严重地降低程序的性能。
  Connection Statement ResultSet都有这个参数,他们对性能地影响顺序是:ResultSet---Statement---Connection

  (4)优化ResultSet:
  体现在以下几个方面:
  批量读取数据.合理设置ResultSet的getFetchSize()和setFetchSize()方法中的参数
  使用正确的get和set方法
  使用整数而不是字段名作为参数性能比较高
  例如:
  setInt(1,100);
  setString(2,"aaaa");
  比
  setInt("id","100");
  setString("name","aaaa");
  性能好
  设置适当的滚动方向。有3个方向FETCH_FORWORD,FETCH_REVERSE FETCH_UNKNOWN,单向滚动性能比较高。

  其他方面的性能优化
  及时显示的关闭Connection Statement ResultSet,其中Connection可以用Connetion Pool处理。
  使用数据库系统的强大查询功能去组织数据。这样程序运行是和数据库服务的交互次数少,数据库返回给程序的记录条数少的多,所以性能有很大的提高。
 
============================================================
谢谢大家的踊跃参与!

我来做个总结:

测试前提:
由于是一个网站,对每个人的访问次数进行计数,业务要求规定插入一条必须commit;

用测试程序1进行测试:
插入100000条,平均每秒600条.

用测试程序2进行测试:
插入100000条,平均每秒1000条

用测试程序3进行测试:
将插入操作该用存储过程实现,在程序中调用该存储过程实现插入操作:
插入100000条,平均每秒500条

用测试程序4进行测试:
用的测试程序同测试程序1,只不过将cursor_sharing参数设为similar
插入100000条,平均每秒800条


原因分析
在Oracle 9.2.0.1中,默认情况下,cursor_sharing参数设为exact,这样由于每次插入语句只是在数值上不一样,但是Oracle还是会导致重新parse,耗费相当的时间。所以将插入语句改为用PreparedStatement方式实现,有效避免了重新parse,所以性能提高很快。同样道理将cursor_sharing参数设为similar也可以达到类似的功效。

至于用存储过程来实现插入性能差的原因,可以这样分析:由于用该存储过程实现的任务并不多,只是简单的插入一条记录,此时,体现不出存储过程的好处,反而由于每插入一条就调用一次存储过程,反而会增加开销。即,如果用存储过程实现大数据量的访问或进行复杂的查询,才会体现出用存储过程的好处。


至于sqlserver为什么插入100000条要比Oracle要快,我觉得与优化器才用的优化方法有关。如sqlserver默认就采用Oracle的cursor_sharing参数为force的模式进行执行sql语句。

我还用存储过程在Oracle与sqlserver上做测试,同样的条件下,Oracle可以至少每秒插入5万条,远远大于sql server的(大约1万)。这也说明Oracle数据自身的处理能力是很强的。


测试程序1:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
//import oracle.jdbc.OracleConnection;


public class FailOver {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";
 
 
//    static final String user = "sa";
//    static final String password = "sa";
//    static final String driver_class = "com.microsoft.jdbc.sqlserver.SQLServerDriver";
//   static final String URL = "jdbc:microsoft:sqlserver://192.168.11.172:1433;DatabaseName=wap";

  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    stmt = conn.createStatement ();
        Thread.sleep(100000);
        long start=System.currentTimeMillis();
        //conn.beginTrans();
    for (long i=800000; i<900000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
      stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values("+ i +",'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values(100,'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
//        if (i % 2000 == 1)
//        {
//     conn.commit();
//     }
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    stmt.close();
    // Close the connection
    conn.close();
  } // End Main()
}


测试程序2:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
import oracle.jdbc.OracleConnection;


public class PreStat {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";


  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    PreparedStatement pstat = conn.prepareStatement("insert into tbl_test values (?, ? , ? , ?)");
       
        long start=System.currentTimeMillis();
        //conn.beginTrans();
    for (int i=0; i<100000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
              pstat.setInt(1, i);
                pstat.setString(2, "aaaaaaaa");
                pstat.setInt(3, i);
                pstat.setString(4, "bbbbbbb");
                pstat.executeUpdate(); //JDBC queues this for later execution
//              conn.commit();
      // Sleep one second to make it possible to shutdown the DB.
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    pstat.close();

    // Close the connection
    conn.close();


  } // End Main()

} // End class jdemofo


测试程序3:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
//import oracle.jdbc.OracleConnection;


public class PrceJava {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";
 
 
//    static final String user = "sa";
//    static final String password = "sa";
//    static final String driver_class = "com.microsoft.jdbc.sqlserver.SQLServerDriver";
//   static final String URL = "jdbc:microsoft:sqlserver://192.168.11.172:1433;DatabaseName=wap";

  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    //Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    CallableStatement stmt = conn.prepareCall ("begin pro_ins (?,?,?,?,?); end;");
        long start=System.currentTimeMillis();
        //conn.beginTrans();
        int j;
    for (int i=0; i<100000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values("+ i +",'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values(100,'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
               
                stmt.setInt(1, i);
                stmt.setString(2, "aaaaaaaa");
                stmt.setInt(3, i);
                stmt.setString(4, "bbbbbbb");
                stmt.registerOutParameter(5, Types.TINYINT);
                stmt.execute();
                //j = stmt.getInt(1);
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    stmt.close();
    // Close the connection
    conn.close();
  } // End Main()
}


//创建存储过程的语句
//create or replace procedure pro_ins(p_id in number,p_name in varchar2 , p_age in number , p_addr in varchar2,p_return out number)
//as
//begin
//        INSERT INTO tbl_test(ID, name, age, addr) values(p_id,p_name,p_age,p_addr);
//        p_return := 1;
//end;
///

//创建表的语句
//create tabel tbl_test(ID number(10,0), name varchar2(50), age number(10,0), addr varchar2(50));

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值