建立简单的信息检索系统（上）

在“搜索引擎”文章中我们提到过，任何信息检索系统都不外乎这几个步骤：建立数据库、建立索引、进行搜索、返回有价值信息。但是一个优秀的信息检索系统会在建立索引之前对搜索文档进行预处理。这种预处理，有可能是切分文档，有可能是美化格式，有可能是替换字符，也有可能是格式转换。这些都是建立在自己对系统的需求上的。

那么让我们一步一步地建立起我们的信息检索系统。

1.       建立文本数据库

再次声明，文本数据库就是用来存放可能要搜索的信息的。因此，我们可以将一个txt文本文件当作一个简单的文本数据库。

2.       对搜索文档的预处理

上面提到，这种预处理是在使用者对系统的需求下运应而生的。所以预处理的可能有很多，我们只举一个简单的例子。如：将全角字符转化成半角字符。

当然，转化的方式也有很多（不是我故意这么说，毕竟Java的灵活性是不容置否的），可以用array来盛放要转换的字符，若是不嫌麻烦，甚至可以用String逐一替换。由于HashMap拥有特殊key-value对，所以在这里用HashMap还是比较简捷的。

//该方法是用来替换全角字符的 private static String replace(String line){ //创建一个HashMap存储全脚字符和半角字符之间的对应关系 //key——value HashMap map = new HashMap(); //在此映射中关联指定value与指定key。如果此映射以前包含了一个该值的映射关系，则旧值被替换。 map.put("，", ","); map.put("。", "."); map.put("〉", ">"); map.put("〈", "<"); map.put("‖", "|"); map.put("《", "<"); map.put("》", ">"); map.put("〔", "["); map.put("〕", "]"); map.put("？", "?"); map.put("“", "/""); map.put("”", "/""); map.put("：", ":"); map.put("、", ","); map.put("（", "("); map.put("）", ")"); map.put("【", "["); map.put("】", "]"); map.put("—", "-"); map.put("～", "~"); map.put("！", "!"); map.put("‘", "'"); map.put("’", "'"); map.put("①", "1"); map.put("②", "2"); map.put("③", "3"); map.put("④", "4"); map.put("⑤", "5"); map.put("⑥", "6"); map.put("⑦", "7"); map.put("⑧", "8"); map.put("⑨", "9"); int length = line.length(); for(int i=0;i<length;i++){ //逐个取得长度为1的String作为查询条件 String charat = line.substring(i , i+1); //判断HashMap的key里面是否出现该String if(map.get(charat) != null){ //如果存在，说明是全角字符，要替换成半角字符 line = line.replace(charat, (String)map.get(charat)); } } //返回处理后的字符串 return line; }

那么，此时我们遇到一个问题，整个搜索文档中的信息是很多的，如果把所有信息都当作String类的字符串当作参数传入这个replace()方法内，势必会影响运行速率。所以，这就有了新的预处理需求——切分信息。将信息切分成一句一句的小信息取出进行字符转化预处理。

public static File characterProcess(File file , String destFile) throws Exception{ //创建一个输出流，用于写新文件 BufferedWriter writer = new BufferedWriter(new FileWriter(destFile)); //创建一个输入流，用于读取文件 BufferedReader reader = new BufferedReader(new FileReader(file)); //在这里，一句一句的读取信息，将读出来的信息逐一进行预处理操作 String line = reader.readLine(); while(line != null){ //在这里调用replace方法调换所有的全角字符 String newline = replace(line); //将替换的新字符写入新的文件 //newLine() 方法，它使用平台自己的行分隔符概念， //此概念由系统属性 line.separator 定义。 //并非所有平台都使用新行符 ('/n') 来终止各行。 //因此调用此方法来终止每个输出行要优于直接写入新行符。 writer.write(newline); //写入分隔符 writer.newLine(); line = reader.readLine(); } reader.close(); writer.close(); //返回替换后的文件 return new File(destFile); }

OK，到这里为止，我们已经把文档信息像我们想的那样，全角符号转化成半角符号了。接下来便是建立索引了。但是，在真实的环境中，我们要对大量文档进行索引的建立，而这些文档可能是不同类型和不同格式的，需要进一步的预处理——统一文档格式。这是复杂的，不符合我们这篇文章的目的，因此不再赘述。