JSP中的全文检索 (转)

JSP中的全文检索 (转)[@more@] 

JSP中的全文检索

全文检索一直都是web方面的关键技术，如何在浩如烟海的信息中找到自己想要的信息是人们最关心的。鼎鼎大名的google就是一个很成功的例子，网络上的人们大部分都用GOOGLE来查找自己需要的内容。全文检索主要有两个技术指标：快速和精确。前一段时间做了一个新闻系统，老板要加上全文检索的功能，想了很久才用一个不太高明的方法实现了。现在分享一下，希望是抛砖引玉吧，如果大家有更好的办法请跟在后边：）XML:namespace prefix = o ns = "urn:schemas-microsoft-com:Office:office" />

先介绍一下我的新闻系统：数据库里存新闻的基本信息，如标题，发布人，发布时间，主体新闻的文件名。新闻主体是html格式的静态页（第一是要提高速度，减少数据库的压力。第二是数据库处理大字符串的时候会有问题。）。全文检索的思路是：先从数据库里把所有的新闻检索出来，把主体新闻找到，然后通过io操作把主体新闻读到一个字符串中。再去掉多余的东西，象html标记什么的，再用正则表达式对这个字符串查找，如果找到符合条件的信息，就记录这条新闻。最后返回所有的符合条件的新闻显示给用户。

下面这段代码是输入查询条件的代码，查询关键字用”+”隔开search.jsp

新闻搜索

function subform()

{ 

 if (document.zl_form.keyword.value=="")

 {

  alert("请输入关键字！");

  document.zl_form.keyword.focus();

  return false;

 } 

 return true; 

}

RM name="zl_form"  target="_new" method="post" action="aftsearch.jsp" οnsubmit="return subform()">

 

 

 

 

 

 

   

输入查询关键字:

 

 

 

 

 

 

 

          

    说明：如果有多个查询条件，中间用+隔开。如:1+2+3+4...

 

 

下面的代码是全文检索主体javabean的代码：newsSearch.java

package NEWS;

import java.sql.*;

import java.lang.*;

import java.text.*;

import java.util.*;

import java.io.*;

import java.util.regex.*;

import dbstep.iDBManager2000;//数据库操作的bean

public class newsSearch {

  private String filePath=null;//主体新闻存放的目录

  private String keyWord=null;//查询关键字

  private Vector news = new Vector();//存放符合条件的结果

  public newsSearch() { }

  public void setFilePath(String s) {

  this.filePath=s;

  }

  public void setKeyWord(String s) {

  this.keyWord=s;

  }

  public Vector getResult() {

  return news;

  }

  public void search() {

  //打开数据库

ResultSet result=null;

  String mSql=null;

  PreparedStatement prestmt=null;

  DBstep.iDBManager2000 dbaObj=new DBstep.iDBManager2000();

  DbaObj.OpenConnection();

  try {

  //检索所有的新闻

  mSql="select * from t_news_detail  order by release_time desc";

  result=DbaObj.ExecuteQuery(mSql);

  while(result.next())

  {

  String id=result.getString("id");

  String title=result.getString("title");

  String release_time=result.getString("release_time");

  String news_type=result.getString("type");

  String content=result.getString("content");

  String man_add=result.getString("man_add");

  //按行读文件

  String trace=filePath+content+".html";

  FileReader  myFileReader=new FileReader(trace);

  BufferedReader myBufferedReader=new BufferedReader(myFileReader);

  String myString=null;

  String resultString=new String();

  while((myString=myBufferedReader.readLine())!=null)

  { 

  resultString=resultString+myString;

  }

  //去掉多余字符

  HtmlEncode.HtmlEncode Html=new HtmlEncode.HtmlEncode();//这个bean去掉多余的字符，新闻是自己生成的文件，可以尽量多的删除多余字符

  resultString=Html.TextEncode(resultString);

  myFileReader.close();

  //取出查询关键字

  Pattern p=null;

  Matcher m=null;

  p = Pattern.compile("+");

  String[] a=p.split(keyWord);//把关键字用+分开

  //全文检索

  String searchResult="1";//检索结果

  int i;

  for(i=0;i

  {

  p = Pattern.compile(a[i].toString());

  m = p.matcher(resultString);

  if (!(m.find())) {

  searchResult="0";

  }

  }

  //记录符合条件的新闻   

  if(searchResult.equals("1")) 

  {

  News resultNews=new News();//存放结果的类，和数据库的结构基本一致

  resultNews.content=content;

  resultNews.release_time=release_time;

  resultNews.type=news_type;

  resultNews.man_add=man_add;

  resultNews.title=title;

  news.addElement(resultNews);//最后的结果集，要返回客户端

  }

  }

  //关闭数据库

  DbaObj.CloseConnection() ; 

  }catch(Exception e){

  System.out.println(e.toString());

  }

  }

 public class News { //存放结果的类

  String content;

  String release_time;

  String type;

  String man_add;

  String title;

  public String getContent() { return this.content; }

  public String getTitle() { return this.title; }

  public String getTime() { return this.release_time; }

  public String getType() { return this.type; }

  public String getMan_add() { return this.man_add; }

  }

}

下面的代码是调用的：aftsearch.jsp

 request.setCharacterEncoding("GB2312");

 String keyword=request.getParameter("keyword");  //接收关键字

 String trace=getservletContext().getRealPath("/")+"xwxx ews";//主体新闻存放路径

 NEWS.newsSearch newsSearch=new NEWS.newsSearch();//初始化检索的bean

 newsSearch.setFilePath(trace);//设置主体新闻路径

 newsSearch.setKeyWord(keyword);//设置关键字

 newsSearch.search();//检索

 Vector news=newsSearch.getResult();//取到结果

%>

新闻搜索

 function open_window(id)

{

  locat="./news/"+id+".html";

  window.open(locat,"new","width=550,height=500 ,scrollbars=yes")

}

<object id=hh2 classid="clsid:ADB880A6-D8FF-11CF-9377-00AA003B7A11">

hh2.Click();

 

 

          

          

          

   

 

 

 

 

 

标 题

 

 

 

类 别

 

 

 

发 布 人

 

 

 

发 布 时 间

 

 

 

 

 

 String color=null;

 int j=0;

 if(!(news.size()==0)) {

 for (int i = 0; i < news.size(); i++) {

 j++;

 NEWS.newsSearch.News  myNews=(NEWS.newsSearch.News)news.get(i);

  if(i%2==0)

  { color="#F5FAF3"; }

  else { color="#DBF7ED";  }

%>

 

 

 

 

     

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

               共搜索到新闻 条 

这个方法比较原始，但是时间有限，也没办法了，先凑合用。我在自己机器测试：100条记录的时候检索时间是9秒，200条是10秒，300条是12秒。也是可以接受的：）。

这个是基于数据库的，大家可以很容易的扩展到基于文件夹的，只要把文件夹下的所有文件都遍历件出来，就可以和上边的方法一样做全文检索了，文件必须是文本格式的才可以。不过那样的话速度方面就没有保证了。

全文检索是一个大课题，有很多因素要考虑，还有很多技术。这个只是为我的新闻系统做的，也许方法很原始，这也是我能想到的最好的办法了。大家如果有好的全文检索的办法请跟在下面，谢谢。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/10752019/viewspace-962476/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/10752019/viewspace-962476/