扒一扒搜索引擎是如何工作的？

搜索引擎是信息检索（IR）系统的通俗叫法。虽然研究和开发人员看待IR系统的眼光更宽一些，但用户想到它们更多的是根据他们期望系统能做的功能 — 即搜索网络，或者企业内部网，或者一个数据库。

事实上用户会更喜欢一个发现引擎，而不仅仅是一个搜索引擎。

搜索引擎匹配查询到它们创建的索引上。这个索引包含每个文档的单词，和能指向文儿当地址的指针。这被叫做倒排索引文件【 inverted file】。一个搜索引擎或者IR系统包括四个基本的模块：

1. 一个文档处理器

2. 一个查询处理器

3. 一个搜索和匹配功能

4. 一个排名能力

虽然用户关注的点是“搜索”，但是搜索和匹配功能仅仅是这四个模块里的其中之一。这四个模块中的每一个都可能导致用户在使用搜索引擎时获得预期或意外的结果。

文档处理器

文档处理器准备，处理和输入用户搜索的文档，页面或站点。文档处理器执行以下部分或全部步骤：

1. 将文档流规范化为预定义格式。

2. 将文档流分解为所需的可检索单元。

3. 隔离和元标记每个子文档块。

4. 标识文档中潜在的可索引元素。

5. 删除停用词。

6. 词根化检索词。

7. 提取索引条目。