全文检索 源码感悟

全文检索 源码感悟

今天读一个web网页的全文检索源码，有所收获，记录如下。

大致流程：

使用中间件redis，从数据库中获得数据，检索时再从redis取数据。

细节描述

数据库 -> redis

分不同模块存放数据。
示意图：

文字描述：
建立一个Map suppliers，键为模块名，值存放数据源各supplier类(实现了Supplier<List>，以支持多线程)；
再建立一个Map tasks，键为模块名，值存放supplier类的get方法获得的数据；
遍历suppliers，令其中的supplier类开始进行多线程工作，此处运用的是CompletableFuture<>类的supplyAsync方法，关于该类的细节描述可参见Java CompletableFuture 详解，我的简单版笔记如下图：

最后通过 CacheProvider类的getPipeline()方法获得一个CachePipeline接口对象（里面实现了大部分redis对应命令），通过CachePipeline类对redis进行操作，将上一步中task获得的数据传入。此处还自行实现了一个RedisService类去生成redis中的关键字。
在这再补一笔，用 CacheProvider类的set方法和CachePipeline类的set方法的区别。 CacheProvider类是一个一个放到redis中去执行的，而CachePipeline类则是将所有set方法先推到一个队列中，再一起放到redis中执行，效率更高，故这里选择后者。

redis -> 对应service

示意图：

文字描述：
创建一个list，存储各模块名，与上文suppliers的键相同。
建立同上Map task，根据模块名开始遍历，先用上文提到的RedisService类合成关键字，再用 CacheProvider类根据关键字将redis中对应数据取出。
取出数据后，需将String数据转码成自定义的SearchVo类（用来存储检索数据），这里用到的是JSON工具。再根据传入函数的keyword（用户检索词）去取出SearchVo类中相应字段（contains方法）。
所有任务完成后，再将所有结果合并后返回。