jdbm开源文件数据库在全文检索中的使用

原创 2003年11月13日 00:08:00

最近奉命做一个全文检索程序,用关键字建立文件索引,类似如下结构:

词1  文章号1,文章号2,文章号3,文章号4...
词2  文章号3,文章号4,文章号5,文章号6...
词3  文章号1,文章号2,文章号8,文章号7...
....

有朋友骂我说为何不用lucene,我当然是提出了用,不过被否决了。只好挽起裤脚亲自下田了。

这种存放方式,按照关键字可以快速找到词所在的所有文章,至于多关键字查询就要将结果作一个交集了。我原本打算用gdbm文件数据库存放索引(关系数据库对这种结构不太好用),找来找去发现java好像无法支持gdbm,我可不希望用jni去访问gdbm,不过好在我在sourceforge找到了jdbm可以代替使用。
如果你的程序需要保存些简单的数据,又不想使用数据库,可以选择jdbm。另外附上二元分词法的程序,用来将文章分词,这个分词没有词表维护,实现简单,将就能用吧。

jdbm很简单,指定一个文件名,就可以当作一个hashtable来使用了:
import jdbm.*;
。。。
JDBMRecordManager newsindex = new JDBMRecordManager(filename);
JDBMHashtable hashtable = newsindex.getHashtable("words");

。。。
//建立索引方法,wordBreaker将文章敲碎成一个个词
  public void index(String docid, String body) {
    try {
      wordBreaker.setText(body);
      String[] words = wordBreaker.breakAll();
      for (int i = 0; i < words.length; i++) {
        if (words[i] != null && words[i].length() != 0) {
          String docs = (String) hashtable.get(words[i]);
          if (docs == null) {
            hashtable.put(words[i], docid);
          }
          else {
            if(docs.indexOf(docid)==-1){
              hashtable.put(words[i], docid + "," + docs);

            }
          }
        }

      }

    }
    catch (Exception ex) {
      ex.printStackTrace();
    }
  }

//输出所有数据看看,测试使用的方法
  public void show(){
    try {
      JDBMEnumeration enum = hashtable.keys();
      while (enum.hasMoreElements()) {
          String aKey= (String)enum.nextElement();
          String value= (String)hashtable.get(aKey);
          System.out.println(aKey+ ":" + value);
      }
    }
    catch (Exception ex) {

    }
  }

//记得关闭jdbm文件
public void close(){
   try {
     hashtable.dispose();
     newsindex.close();
   }
   catch (Exception ex) {
   }
  }

另外附上二元分词程序WordBreaker:
import java.text.*;
import java.util.*;

public class WordBreaker {
  char[] punctuations = new char[] {
      '。', ',', ';', ':', '“', '”', '(', ')', '!', '?', '◎', '#', '¥', '%', '…',
      '※', '×', '【', '】', '『', '』', '《', '》', '、'};
  public WordBreaker() {
  }
  public void setText(String text){
    this.sourceText = text;
  }
  private String sourceText = "";
  public String[] breakAll() {
    StringBuffer enWord = new StringBuffer();
    StringBuffer cnWord = new StringBuffer();
    boolean lastInsertCn = false;
    for (int i = 0; i < sourceText.length(); i++) {
      char c = sourceText.charAt(i);
      if (c > 255 && isWord(c)) {
        cnWord.append(c);
        lastInsertCn = true;
      }
      else if (c < 255) {
        if (lastInsertCn) {
          enWord.append(' ');
          enWord.append(c);
          lastInsertCn = false;
        }
        else {
          enWord.append(c);
        }
      }
    }
    String str = cnWord.toString();
    String[] result = new String[str.length() - 1];
    for (int i = 0; i < str.length() - 1; i++) {
      char c1 = str.charAt(i);
      char c2 = str.charAt(i + 1);
      result[i] = "" + c1 + c2;
    }
    String[] allEnWords = enWord.toString().split("//p{Punct}|//s+");
    String[] ret = new String[allEnWords.length + result.length];
    System.arraycopy(result,0,ret,0,result.length);
    System.arraycopy(allEnWords,0,ret,result.length,allEnWords.length);
    return ret;
  }

  public static void main(String[] args) {
    WordBreaker wb = new WordBreaker();
    wb.setText("在目前的80名发审委员的机制下,监管部门人员不足1/3,没有绝对话语权。发审委的工作等于是完全独立于监管部门之上的。从这个意义上,面对市场的诘责,证监会有替人受过之嫌。");
    wb.printArray(wb.breakAll());
  }

  private void printArray(Object[] os) {
    for (int i = 0; i < os.length; i++) {
      System.out.println(os[i]);

    }

  }
  private boolean isWord(char c) {
    for (int i = 0; i < punctuations.length; i++) {
      if (c == punctuations[i]) {
        return false;
      }
    }
    return true;
  }
}

将文中单词按照2元语法(bigram)方式切分出来,比如:
"北京天安门" ==> "北京 京天 天安 安门"。英语按照空格和标点分词。

下载jdbm:jdbm.sf.net

12个最好的免费和开源的NoSQL数据库

NoSQL数据库一天天变得越来越流行。以下是最好的,免费,开源NoSQL数据库的一个列表。其中MongoDB是这些开源NoSQL数据库中最好的。这个列表包括:MongoDB, Cassandra, C...
  • kobejayandy
  • kobejayandy
  • 2014年03月31日 23:13
  • 6035

Android开源数据库框架-LitePal的使用

简介LitePal是一款开源的Android数据库框架,采用了关系映射的模式。LitePal在github上的项目地址:https://github.com/LitePalFramework/Lite...
  • u014005316
  • u014005316
  • 2017年03月29日 17:38
  • 951

35个非主流开源数据库 你知道吗?

【IT168 评论】 几乎每个Web开发人员都有自己喜欢的数据库,或自己最熟悉的数据库,但最常见的无外乎以下几种:    MySQL   PostgreSQL   MSSQL ...
  • zxxSsdsd
  • zxxSsdsd
  • 2016年06月10日 17:09
  • 3087

几种开源数据库

NoSQL数据库一天天变得越来越流行。以下是最好的,免费,开源NoSQL数据库的一个列表。其中MongoDB是这些开源NoSQL数据库中最好的。这个列表包括:MongoDB, Cassandra, C...
  • Com_ma
  • Com_ma
  • 2017年06月30日 23:36
  • 424

Android强大的数据库开源框架LitePal

Android强大的数据库开源框架LitePalLitePal使用起来非常方便,完全不用数据库语句就可以很方便实现数据库的增删查改功能。操作面向的是对象,只需要对这个对象进行操作就可以了。 Lite...
  • wenzhi20102321
  • wenzhi20102321
  • 2017年06月28日 12:52
  • 621

21款最优秀的开源数据库

摘要:几乎所有软件项目的开发都需要数据库的支持,目前,随着开源技术的迅速发展,越来越多的数据供应商选择开源数据库,为开源事业添砖加瓦。 作为一名软件开发人员或DBA,其中一份必不可少的工作就...
  • Winterto1990
  • Winterto1990
  • 2016年07月26日 21:48
  • 3311

三大主流开源 NoSQL 数据库和两大主流传统 SQL 数据库对比

HBase vs. MongoDB vs. MySQL vs. Oracle vs. Redis,对比 类别 HBase MongoDB MySQL Oracle Redis ...
  • u012017783
  • u012017783
  • 2016年12月30日 09:51
  • 3138

开源数据库连接池

现在很多WEB服务器(Weblogic、WebSphere、Tomcat)都提供了DataSoruce的实现,即连接池的实现。通常我们把DataSource的实现,按其英文含义称之为数据源,数据源中都...
  • yerenyuan_pku
  • yerenyuan_pku
  • 2016年08月30日 10:58
  • 1633

常用的开源数据库连接池比较

现在常用的开源数据库连接池主要有c3p0、dbcp、proxool三种,其中: Spring 推荐使用dbcp; Hibernate ...
  • qq_17307809
  • qq_17307809
  • 2016年03月14日 10:43
  • 1074

Android开源:数据库ORM框架GreenDao学习心得及使用总结

最近在对开发项目的性能进行优化。由于项目里涉及了大量的缓存处理和数据库运用,需要对数据库进行频繁的读写、查询等操作。因此首先想到了对整个项目的数据库框架进行优化。    原先使用android本...
  • white__cat
  • white__cat
  • 2014年10月29日 09:29
  • 4437
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:jdbm开源文件数据库在全文检索中的使用
举报原因:
原因补充:

(最多只允许输入30个字)