SWISH-E搜索引擎用法

 

SWISH-E搜索引擎用法

SWISH-E搜索引擎，不同于Lucene等搜索引擎，SWISH-E是可以独立执行的工具，通过设定配置文件和执行命令，不需要编写其他程序，即可完成文档的索引和检索。但是在SWISH-E 2.X版本中，不支持UNICODE字符集，在3.0版本中开始支持，如果只是英文，太局限了J。

SWISH-E使用的核心是配置文件的设定，通过设定配置文件，可以完成相应的工作。

1．配置过程

配置文件每行设定一个SWISH-E配置指令（configuration directives），其中#为注释行。

通过对于编写配置文件，SWISH-E可以很好的完成检索任务，最基本的配置指令（configuration directives）有：

IndexDir       搜索的目录

IndexOnly      搜索的文件类型

MetaNames     需要搜索的TAG标志（在索引XML和HTML文件时使用）

WordCharacters   通过WordCharacters定义将文档拆分为单词。如果字符串中含有的字符没有在WordCharacters字符集中的，则会划分为多个单词。比如：

WordCharacters abde 则会划分为："ab" and "de".

与之相关的指令还有：IgnoreFirstChar、IgnoreLastChar、BeginCharacters、EndCharacters。例如：

WordCharacters  .abcdefghijklmnopqrstuvwxyz     BeginCharacters abcdefghijklmnopqrstuvwxyz     EndCharacters   abcdefghijklmnopqrstuvwxyz     IgnoreFirstChar .     IgnoreLastChar  .

如果字符串为：

Please visit http://www.example.com/path/to/file.html.

则会划分为：

please     visit     http     www.example.com     path     to     file.html

此时，如果建立索引以后，通过www.example.com可以进行搜索，但是仅仅通过example则无法搜索到文档。

Buzzwords [*list of buzzwords*|File: path]

流行词：不受字符集的限制，索引特定的词语。

比如：Buzzwords C++ TCP/IP。

IgnoreWords [*list of stop words*|File: path]

设定特殊词，进行忽略，通常称为stopwords.

UseWords [*list of words*|File: path]

只有通过UseWords定义的词，才会进行索引。

FileRules [type] [contains|is|regex] *regular expression*

FileMatch [type] [contains|is|regex] *regular expression*

FileRule和FileMatch指令排除和包含索引的目录和文件。

MatchType，匹配类型：

FileRules pathname     FileRules dirname     FileRules filename     FileRules directory     FileRules title       FileMatch pathname     FileMatch filename     FileMatch dirname

比如：

# Don't index paths that contain private or hidden     FileRules pathname contains (private|hidden)

基本示例，假设配置文件myconf为：

IndexDir ./          索引的目录 IndexOnly .html      索引的文件类型 MetaNames subjects   需要索引的TAG标志

该配置文件定义了：索引的目录为当前目录，文件类型为html文件，需要索引的TAG为subjects.

然后输入命令：

[root@moxuansheng demo]# swish-e -c myconf

索引完成后，显示结果。

Indexing Data Source: "File-System" Indexing "./" Removing very common words... no words removed. Writing main index... Sorting words ... Sorting 29 words alphabetically Writing header ... Writing index entries ...   Writing word text: Complete   Writing word hash: Complete   Writing word data: Complete 29 unique words indexed. 4 properties sorted.                                               4 files indexed.  310 total bytes.  34 total words. Elapsed time: 00:00:00 CPU time: 00:00:00 Indexing done!

2．搜索过程

Swish-e –w  word

-m *number* (max results)

-b *number* (beginning result)

当搜索的结果集合较大时，可以通过对于-m和–b的结合，分屏显示搜索结果。

按照前面索引的过程，举例说明。

SWISH-E通过命令：

[root@moxuansheng demo]# swish-e -w securities

进行搜索，并且可以通过and 和or进行相应的逻辑运算。

显示结果为：

# SWISH format: 2.4.5 # Search words: securities # Removed stopwords: # Number of hits: 1 # Search time: 0.002 seconds # Run time: 0.012 seconds 1000 ./new.txt "new.txt" 64 .

如果需要搜索html文件中的内容，则需要制定相应的TAG标志，其中subjects为TAG名称。

[root@moxuansheng demo]# swish-e -w subjects=content

显示结果为：

# SWISH format: 2.4.5 # Search words: subjects=content # Removed stopwords: # Number of hits: 1 # Search time: 0.002 seconds # Run time: 0.012 seconds 1000 ./my.html "my.html" 96

3．网页抓取索引

通过swish-e可以进行网页的抓取，解析、索引。

配置文件为：

IndexDir 目标URL http://www.msn.com #how many links the spider should follow before stopping. #设定抓取URL的层数 MaxDepth 2 #临时目录，SWISHSPIDER要用，否则会出错 TmpDir /home/kuangtu/swish-e-2.4.5/demo/tmpDir #the location of Perl helper script called swishspider. #配置swishspider所在的目录 SpiderDirectory /home/kuangtu/swish-e-2.4.5/src

通过swish-e -c myconf -S http进行索引。设定-S 参数。

另外，由于swishspider采用PERL脚本编写。PERL用到了LWP:UserAgent和HTTP:Parser模块，我的机器环境没有安装，需要单独安装。下载：HTML-Parser-3.59.tar.gz；HTML-Tagset-3.20.tar.gz；libwww-perl-5.823.tar.gz，进行安装。