Apache Lucene拼写检查器的“您是不是要”功能

最新推荐文章于 2024-09-25 10:59:43 发布

dnc8371

最新推荐文章于 2024-09-25 10:59:43 发布

阅读量165

点赞数

文章标签： java python 大数据编程语言 android

Google的“您是不是要”功能
在上一篇文章中对Lucene进行了介绍之后，现在是时候提高它，创建一个更复杂的应用程序了。您肯定最熟悉Google的“您是不是要”功能（其他搜索引擎也支持此功能）。这是一个例子：

Lucene SpellChecker子项目
可以使用Lucene项目在Java中实现此功能，本教程将向您展示如何使用。该实现将基于Lucene的子项目之一，即SpellChecker（请参阅拼写检查器API ）。这篇文章的灵感来自于我在InfoQ上读到的一篇最近的文章，名为“ 在Java中实现Google的“您的意思”功能 ”。作者简短描述了所使用的编辑距离算法，然后提供了一个简单的代码示例。我还找到了一篇类似的文章，标题为“ 您的意思是：Lucene吗？ ”，但这是在2005年写的，所以我想它现在已经过时了。首先查看这些内容，然后再采取一些措施是一个好主意。

寻找基础字典
在本教程中，将使用英语词典文本文件。您可以对此进行简单搜索，也可以直接下载此压缩文件。该文件非常简单，仅包含用行分隔的单词。提取的文件名为“ fulldictionary00.txt”。

使用Lucene SpellChecker API
让我们开始创建一个新的Eclipse项目（可能名为“ LuceneSuggestionsProject”），然后导入必要的JAR文件。除了主要的JAR lucene-core-3.0.1.jar外，我们还需要lucene-spellchecker-3.0.1.jar。这可以在解压缩的tarball文件夹“ lucene-3.0.1 \ contrib \ spellchecker”中找到。如果您不知道如何查找发行版以及如何开始该项目，请查看我以前的文章（全文搜索Apache Lucene简介）。创建一个名为“ SimpleSuggestionService”的新类，并确保包含一个主要方法。此类的源代码如下：

package com.javacodegeeks.lucene.spellcheck;

import java.io.File;

import org.apache.lucene.search.spell.PlainTextDictionary;
import org.apache.lucene.search.spell.SpellChecker;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class SimpleSuggestionService {
    
    public static void main(String[] args) throws Exception {
        
        File dir = new File("c:/spellchecker/");
        
        Directory directory = FSDirectory.open(dir);
        
        SpellChecker spellChecker = new SpellChecker(directory);
        
        spellChecker.indexDictionary(
             new PlainTextDictionary(new File("c:/fulldictionary00.txt")));
        
        String wordForSuggestions = "hwllo";
        
        int suggestionsNumber = 5;

        String[] suggestions = spellChecker.
            suggestSimilar(wordForSuggestions, suggestionsNumber);

        if (suggestions!=null && suggestions.length>0) {
            for (String word : suggestions) {
                System.out.println("Did you mean:" + word);
            }
        }
        else {
            System.out.println("No suggestions found for word:"+wordForSuggestions);
        }
            
    }

}

是的，就是这么简单。如果运行应用程序（使用“ hwllo”作为输入字），将出现以下输出：

解释SpellChecker API
该代码非常简单，但是我将详细介绍一些类。首先，您需要一个Directory ，它是文件的平面列表。此类是抽象的，因此我们将FSDirectory用作实际实现。 FSDirectory将索引文件存储在文件系统中（为了评估访问速度更快的RAMDirectory ，它是驻留在内存中的实现，应该进行评估）。下一步是创建一个SpellChecker实例，这是我们应用程序的核心。请注意，默认的StringDistance是LevensteinDistance 。如果您希望使用其他算法（ JaroWinklerDistance或NGramDistance ），则可以使用setStringDistance方法。接下来，我们实例化一个PlainTextDictionary ，它指向我们下载的文本文件。将字典编入索引，然后使用SpellChecker对象检索拼写错误的单词的建议单词。

我想您现在准备创建下一个大型搜索引擎。您可以在此处找到相关的Eclipse项目。

请享用！

相关文章：