一个 Python 的轻量级搜索工具 -- Whose

本文将简单介绍 Python 中的一个轻量级搜索工具 Whoosh，并给出相应的使用示例代码。

# Whoosh 简介

Whoosh 由 Matt Chaput 创建，它一开始是一个为 Houdini 3D 动画软件包的在线文档提供简单、快速的搜索服务工具，之后便慢慢成为一个成熟的搜索解决工具并已开源。

Whoosh 纯由 Python 编写而成，是一个灵活的，方便的，轻量级的搜索引擎工具，现在同时支持 Python2、3，其优点如下：

• Whoosh 纯由 Python 编写而成，但很快，只需要 Python 环境即可，不需要编译器；

• 默认使用 Okapi BM25F 排序算法，也支持其他排序算法；

• 相比于其他搜索引擎，Whoosh 会创建更小的 index 文件；

• Whoosh 中的 index 文件编码必须是 unicode;

• Whoosh 可以储存任意的 Python 对象。

Whoosh 的官方介绍网站为：https://whoosh.readthedocs.io/en/latest/intro.html 。相比于 ElasticSearch 或者 Solr 等成熟的搜索引擎工具，Whoosh 显得更轻便，操作更简单，可以考虑在小型的搜索项目中使用。

# Index & query

对于熟悉 ES 的人来说，搜索的两个重要的方面为 mapping 和 query，也就是索引的构建以及查询，背后是复杂的索引储存、query 解析以及排序算法等。如果你有 ES 方面的经验，那么，对于 Whoosh 是十分容易上手的。

按照笔者的理解以及 Whoosh 的官方文档，Whoosh 的入门使用主要是 index 以及 query。搜索引擎的强大功能之一在于它能够提供全文检索，这依赖于排序算法，比如 BM25，也依赖于我们怎样储存字段。因此，index 作为名词时，是指字段的索引，index 作为动词时，是指建立字段的索引。而 query 会将我们需要查询的语句，通过排序算法，给出合理的搜索结果。

关于 Whoosh 的使用，在官文文档中已经给出了详细的说明，笔者在这里只给出一个简单的例子，来说明 Whoosh 如何能方便地提升我们的搜索体验。

# 示例代码

 数据

  本项目的示例数据为 poem.csv，下图为该数据集的前十行：

图片

poem.csv

 字段

根据数据集的特征，我们创建四个字段（fields）：title, dynasty, poet, content。创建的代码如下：

其中，ID 只能为一个单元值，不能分割为若干个词，常用于文件路径、URL、日期、分类；
TEXT 文件的文本内容，建立文本的索引并存储，支持词汇搜索；Analyzer 选择结巴中文分词器。

 创建索引文件

  接着，我们需要创建索引文件。我们利用程序先解析 poem.csv 文件，并将它转化为 index，写入到 indexdir 目录下。Python 代码如下：

index 创建成功后，会生成 indexdir 目录，里面含有上述 poem.csv 数据的各个字段的索引文件。

 查询

index 创建成功后，我们就利用进行查询。
比如我们想要查询 content 中含有明月的诗句，可以输入以下代码：

输出结果如下：