开源数据库:Berkeley DB和SQLite

下面介绍的是两个开放源代码的 嵌入式 数据库，Berkeley DB和SQLite。同时侧重介绍如何应用Java连接这两种嵌入式数据库。

    一. Berkeley DB 

    1. 简介 

    Berkeley DB是一款健壮的，高速的工业级嵌入式数据库产品，你可以在它的官方主页（见参考链接一）上发现很多知名的公司都采用了这款嵌入式数据库。 Berkeley DB的一个很重要的特点是就是高速存储。在高流量，高并发的情况下，Berkeley DB要比非嵌入式的数据库表现得更加出色。所以在一些技术实现上，Berkeley DB被作为大型关系数据库的中间数据缓冲层，用来快速的保存数据，可能会在适当的时刻再导入到大型数据库中，进而应用大型数据库所提供的更为高级的特性。 

    Berkeley DB虽然是 开源的产品，但对某些条件下的商业性应用，却不是免费的，而且价格颇为昂贵。这些商业条件排除了开源的情况，不发放分布版本的情况，等等。比如，如果你的程序是开放源代码的或者仅仅应用到单一的网站上，在这种情况下，Berkeley DB是免费的。 

    2. 获得Java与Berkeley DB的接口 

    Berkeley DB目前的版本是4.1.25，自带了Java接口。下载的压缩包中包含C和Java语言的源代码和编译配置文件。在Windows平台，可以用MS Visual C++ 6.0或MS VC.Net编译。用VC6编译的操作如下介绍：在源代码的build_win32路径下打开VC的工程文件，之后在Build菜单中的Set Active Configuration选择db_java win32 release编译选项。在VC的Tools菜单Options选项中指定JNI.H等Java本地化接口编译时所需要头文件的位置。你会在JDK的 include路径下找到这些头文件,　例如加入的路径可能会是这样的：C:jdk1.4include和C:jdk1.4include win32。最后在Tools菜单中Options选项还要设置Javac.exe和Jar.exe的执行路径，这个设置会使VC开发环境也能调用 Java编译器，从而在VC环境下直接完成对Java接口类的编译和打包。在编译后，在release路径下的文件中找到db.jar, libdb41.dll, libdb_java41.dll，这三个文件组成了Berkeley DB的Java接口程序包。

　　3. 应用Java与Berkeley DB的接口 

    Berkeley DB并不是一个关系型的数据库。不能应用标准的SQL语句对数据库操作，对它的操作要调用专用的API实现。这些API提供了查询、插入、删除等功能。比如com.sleepycat.db.Db类代表数据库对象。Db类的put()方法完成的是插入功能，get()方法完成的是读出数据的功能。 com.sleepycat.db.Dbc是Berkeley DB的游标类，提供了遍历数据库记录的功能。 

    Berkeley DB每一个记录都有一个键值和对应的数据值,而键值和数据必须是类com.sleepycat.db.Dbt的对象或其子类的对象。Dbt提供了一些方法可以将byte数组或Object对象保存到Dbt的对象中去。比如，Dbt类中的set_data(byte[])或set_object (Object)方法。注意到目前Berkeley DB中的Java API命名方法并不符合Java的命名规范，比如set_data()方法应该命名为setData()方法。Berkeley DB许诺在下一个版本中会提供符合命名规范的Java API。 

    Berkeley DB对任何存入的数据都是直接原样存储到数据文件中去，无论其是二进制数据还是ASCII或Unicode等编码的文本。通常可以利用这一特性和Java串行化的概念方便的进行数据的存取。例如声明一个类：

  
  

   
   
   
   
   
   public class AccountInfo implements Serializable{

   
   //
   
   帐户信息
   
   

   
   public String loginName;
public String password;
public 
   
   boolean
   
    auotLogin;

  
  

     在这个AccountInfo类中仅仅包含了数据项的定义。我们完全可以将这个类看作数据库的表中字段定义。可以用Berkeley DB保存AccountInfo对象的串行化二进制数据，以此来保存这个对象中的变量值。在操作中，先对Dbt的对象调用set_object (AccountInfo)方法，而后把这个Dbt对象作为一条纪录保存到表中。当然，我们也可以应用继承Dbt类的方法来完成对数据的保存。 

     下面这段简单代码演示如何将数据存入到数据库中，然后再用游标对象浏览全部数据。

  
  

   
   
   
   
   
   //
   
   注意，下面的程序的忽略了对异常处理，写入数据初始化等等一些代码，请在适当修改后再编
   
   
//
   
   译运行它
   
   

   
   Db dbFile 
   
   =
   
    
   
   null
   
   ;

   
   //
   
   生成Db对象
   
   

   
   dbFile 
   
   =
   
    
   
   new
   
    Db(
   
   null
   
   , 
   
   0
   
   );

   
   //
   
   用BTree方式打开数据库，库文件是在c:/temp下的mydata.db文件，表名是employee
   
   
//
   
   如果数据库不存在，则自动生成一个新的数据库。
   
   

   
   dbFile.open(
   
   null
   
   ,
   
   "
   
   c:tempmydata.db
   
   "
   
   ,
   
   "
   
   employee
   
   "
   
   ,Db.DB_BTREE,
Db.DB_CREATE,
   
   0
   
   );
Dbt key 
   
   =
   
    
   
   new
   
    Dbt();
Dbt data 
   
   =
   
    
   
   new
   
    Dbt();

   
   //
   
   向库文件中插入一条数据，如果已经存在，打印出错信息
   
   

   
   if
   
    (dbFile.put(
   
   null
   
   ,key, data, Db.DB_APPEND) 
   
   ==
   
    Db.DB_KEYEXIST) {
System.out.println(
   
   "
   
   Key already exists.
   
   "
   
   );
}

   
   //
   
   关闭数据文件
   
   

   
   dbFile.close(
   
   0
   
   );

   
   //
   
   重新打开数据文件
   
   

   
   dbFile 
   
   =
   
    
   
   new
   
    Db(
   
   null
   
   , 
   
   0
   
   );
dbFile.open(
   
   null
   
   , 
   
   "
   
   c:tempmydata.db
   
   "
   
   , 
   
   "
   
   employee
   
   "
   
   , Db.DB_UNKNOWN,

   
   0
   
   , 
   
   0644
   
   );

   
   //
   
    声明一个数据库游标Dbc对象iterator
   
   

   
   Dbc　iterator 
   
   =
   
    dbFile.cursor(
   
   null
   
   , 
   
   0
   
   );

   
   //
   
    遍历整个表
   
   

   
   Dbt key 
   
   =
   
    
   
   new
   
    Dbt();

   
   while
   
    (iterator.get(key, data, Db.DB_NEXT) 
   
   ==
   
    
   
   0
   
   )
{
System.out.println(
   
   "
   
   reading
   
   "
   
   );
}

   
   //
   
   关闭游标和数据文件
   
   

   
   iterator.close();
dbFile.close(
   
   0
   
   );

  
  

    在运行Berkeley DB的程序时勿必在系统环境变量PATH中设置libdb41.dll和 libdb_java41.dll所在的路径。

　　4. Berkeley DB的存储模式 

    Berkeley DB提供了四种存储数据的模式：Btree，Hash，Queue和Recno。在打开数据库的时候要指定一种存储模式，比如上例中open()方法中的参数Db.DB_BTREE就是指定以Btree模式打开数据库。 

    Btree模式是以排序的二叉树的方式存储，Hash是以线性哈希表的方式存储。Queue用逻辑记录号做为键值，以定长的数据为记录值。 Recno方式也以逻辑记录号做为键值，但可以保存定长或变长的记录值。这里提到的逻辑记录号有两种，可变的和固定的。可变逻辑记录号会根据数据记录的增加与删除做相应的变化。比如在数据库中共有100条记录，如果删除第80条记录，那么第81条记录的逻辑记录号会自动变成80，以此类推，第100条记录逻辑记录号会变成99。固定的逻辑记录号则无论数据库如何操作都不会有变化。Queue模式下，逻辑记录号只能是固定方式。Recno模式则可通过配置来选择是采用那种类型的记录号作为键值。Btree模式也可以通过设置，将可变的逻辑记录号做为键值。 

    这几种存储模式各有优缺点，要根据具体的需求来选择。当键值不想用逻辑记录号时Btree或Hash是必须的选择。Btree方式比较适合连续的顺序读取，比如，当键值是时间值，如果经常有从某一时间点开始连续读取后继的记录的操作，Btree是一种很好的选择。对随机的跳跃式读取，Hash模式则更为恰当。Queue和Recno都以记录号为键值，但前者适合先进先出的读取方式。Recno则通常是存取变长文本记录的理想存储模式。

　　5. Berkeley DB Environment的概念 

    Berkeley DB Environment为一组数据库同时提供参数设置。更为重要的是，如果要应用更高级的特性，必须要使用Environment功能，比如在想要对保存的数据进行加密存储时。 

　　6. 更多特点

除了最基本的插入、查询、删除功能以外，Berkeley DB还提供了一些特性，比如Transaction，数据加密，同步加锁控制，错误日志等功能。下面的图片是Berkeley DB功能示意图。

二. SQLite

    1. 简介 

    相信PHP的开发人员一定不会对SQLite感到陌生，因为在PHP5中已经集成了这个轻巧的内嵌式数据库产品。SQLite与Berkeley DB相比，在操作语句上更类似关系型数据库的产品。绝大多数标准的SQL92语句SQLite都能支持。 

    SQLite的版权允许无任何限制的应用，包括商业性的产品。在参考链接二上提供的SQLite官方主站上可以下载到编译后的SQLite程序。但推荐应用CVS工具下载最新版本的SQLite源代码。如果在*nux平台下，可直接用make编译。如果在Windows平台，常用的有两种方法，一是应用在Windows平台下的 Linux仿真程序，如MingW或Cygwin提供的make来编译。二是应用MS VC平台编译。后者设置略有麻烦，但可仿照参考链接五上提供的MS VC6工程文件的样例。应用到这个样例的时候，要注意的是由于SQLite源代码在不断更新，如果直接应用样例所提供的VC6工程文件编译会出现一些问题，读者要根据具体的情况稍微调整一下编译的设置。 

    2. 编译第三方Java接口 

    SQLite源代码是C，而且官方网站上只提供了C和Tcl语言的接口。为了应用Java接口，要采用第三方的接口驱程，可在参考链接三中找到这个Java接口程序。这个接口提供了两种连接SQLite的方式：一是直接用JNI技术调用SQLite的C语言接口，这种方式要求开发人员要对 SQLite本身的API也有一定的了解。在第二种方式中，接口程序实现了Java标准规范的JDBC接口，这样开发人员只要对JDBC有了解就可以了。 

    下面介绍在Windows系统MS VC6环境中编译SQLite Java接口（同时包括JNI和JDBC两个接口）的过程。如果你对C语言编译的设置很熟悉，可以跳这这段介绍。 

    第一步先把SQLite源代码编译成Lib静态库文件。具体的步骤可以直接应用下面参考链接中提供的MS VC6工作区文件，其中有一个编译SQLite到静态库的设置。编译成功后得到SQLite.lib文件。第二步要建立一个新的VC DLL项目，然后和上面介绍的Berkeley DB在编译Java本地化接口的设置一样，在VC的Tools菜单Options选项中指定JNI.H等JNI编译所要的头文件位置。同时还要指定 sqlite.h头文件位置，这个文件是在生成SQLite静态库的时候自动生成的，可以在SQLite.lib文件所在的工作区目录下面找到它，例如加入的路径为C:sqlitemsvc6。然后在Project菜单的setting选项设置Link到SQLite.lib库文件，并再次在 Tools菜单中Options指定SQLite.lib的查找路径。注意有些情况下可能要设置予编译选项HAVE_SQLITE_COMPILE以便使用SQLite中VM的一些功能。编译成功后可得到Sqlite_jni.dll文件。 

    第三方接口库中的Java代码包含JNI接口和多个版本的JDBC接口程序，可根据你的JRE的版本选择相应的JDBC程序。编译这些Java代码的过程这里就不做叙述了。 

    编译后的Java类包加上前面得到的Sqlite_jni.dll文件，组成了SQLite的Java接口库，在应用Java语言调用JDBC或JNI接口时，都是通过应用Java的本地化技术调用Sqlite_jni.dll文件，完成对SQLite数据库的操作。

　　3. 应用JNI直接调用SQLite功能 

    下面这段代码演示如何应用JNI接口操作SQLite。可以看到Database类的exec()方法是执行SQL语句的关键：

  
  

   
   
   
   
   
   Database db 
   
   =
   
    
   
   new
   
    Database();

   
   try
   
    {

   
   //
   
   打开数据库
   
   

   
   db.open(
   
   "
   
   c:tempmydata.slt
   
   "
   
   , 
   
   0666
   
   );
db.interrupt();
db.busy_timeout(
   
   1000
   
   );
db.busy_handler(
   
   null
   
   );
db.exec(
   
   "
   
   create table account (name varchar(10),gale boolean)
   
   "
   
   
,result);
db.exec(
   
   "
   
   insert into account values('steve','m')
   
   "
   
   , result);
db.exec(
   
   "
   
   select * from account
   
   "
   
   ,result);

   
   //
   
   关闭数据库
   
   

   
   db.close();
} 
   
   catch
   
    (Exception e) {
e.printStackTrace();
}

  
  

　　4. 应用JDBC连接SQLite 

    用"SQLite.JDBCDriver"作为JDBC的驱动程序类名。连接JDBC的URL格式为jdbc:sqlite:/path。这里的path为指定到SQLite数据库文件的路径，例如:

  
  

   
   
   
   
   
   jdbc:sqlite:
   
   //
   
   dirA/dirB/dbfile
   
   

   
   jdbc:sqlite:
   
   //
   
   DRIVE:/dirA/dirB/dbfile
   
   

   
   jdbc:sqlite:
   
   //
   
   COMPUTERNAME/shareA/dirB/dbfile
   
   

  
  

    参考下面的应用JDBC连接SQLite的例程：

  
  

   
   
   
   
   
   //
   
   声明JDBC驱动程序
   
   

   
   Class clz 
   
   =
   
    Class.forName(
   
   "
   
   SQLite.JDBCDriver
   
   "
   
   );

   
   //
   
   连接数据库
   
   

   
   Connection conn 
   
   =
   
    DriverManager.getConnection(
   
   "
   
   jdbc:sqlite:/c:/temp/e2.db
   
   "
   
   );
Statement stmt 
   
   =
   
    conn.createStatement();

   
   //
   
   生成person表，包含名子和年龄字段
   
   

   
   stmt.execute(
   
   "
   
   create table person (name varchar(100),age int)
   
   "
   
   );

   
   //
   
   插入数据
   
   

   
   stmt.execute(
   
   "
   
   insert into person values('steve',25)
   
   "
   
   );

   
   //
   
   用SQL语句读出数据
   
   

   
   result 
   
   =
   
    stmt.executeQuery(
   
   "
   
   select * from person
   
   "
   
   );

   
   while
   
   (result.next()){
System.out.println(result.getString(
   
   1
   
   ));
System.out.println(result.getInt(
   
   2
   
   ));
}

  
  

    运行程序时要在Java.exe命令行加入选项java.library.path指定到Sqlite_jni.dll所在的路径。例如，如果 Sqlite_jni.dll放在c:sqliteNative 路径下面，运行类com.e2one.MyClass 的命令行将会是这样：java -Djava.library.path=c:sqliteNative com.e2one.MyClass。

　　5. SQLite的特点 

    SQLite是无数据类型的数据库。虽然在生成表结构的时候，要声明每个域的数据类型，但SQLite并不做任何检查。开发人员要靠自己的程序控制输入与读出数据的类型是正确的。这里有一个例外，就是当主键为整型值时，如果要插入一个非整型值时会产生异常。另外，虽然在插入或读出数据的时候是不区分类型的，但在比较的时候，不同数据类型是有区别的。比如：

  
  

   
   
   
   
   
   CREATE TABLE MyTable(a INTEGER, b TEXT);
INSERT INTO MyTable VALUES(
   
   0
   
   ,
   
   0
   
   );

  
  

    当执行下面的查询：

  
  

   
   
   
   
   
   SELECT count(
   
   *
   
   ) FROM MyTable WHERE a
   
   ==
   
   '
   
   00
   
   ';
  
  

    会返回一条记录，因为字段a的类型是整型，而数字00与0是相等的。 

    而执行下面的查询则不会返回记录：

  
  

   
   
   
   
   
   SELECT count(
   
   *
   
   ) FROM MyTable WHERE b
   
   ==
   
   '
   
   00
   
   ';
  
  

    因为字段b是字符类型，字符"00"与"0"是不相等的。 

    SQLite提供了对Transaction的支持。应用Transaction即保证了数据的完整性，也会提高运行速度，因为多条语句一起提交给数据库的速度会比一条一条的提交方式更快。 

    对二进制数据，SQLite不能直接保存。但可以先将二进制的数据转换成ASCII编码，然后再保存。Base64编码机制是最常见的把二进制数据转换成ASCII编码的手段。在SQLite的C语言代码encode.c中提供了Base64编码的功能。对Java而言，在参考链接六中提供的 Apache的XML RPC项目中可以找到一个Base64编码的例子。

    上面介绍了两个比较常见的嵌入式数据库，Berkeley DB速度极快，可靠性高，但学习起来有一定难度。SQLite则简单易用，速度也很快，又可以应用标准的JDBC连接，但它功能却照Berkeley略有逊色，比如加密功能、二进制数据的处理等。