5.4 内容管理模块 - 课程搜索

5.4 内容管理模块 - 课程搜索

一、快速入门

本项目使用elasticsearch作为索引及搜索服务

课程如果发布之后，用户还不能搜索到，因为我们发布的课程还没有写入到索引库

1.1 需求分析

之前我们是直接查询数据库获取数据，但是现在我们要使用一种全文检索的技术来搜素我们的课程

什么是全文检索？

全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。

传统的搜索方法是先找到文章，再从文章中找到要搜索的某个词

而全文检索的方式是先找词再找文章，如果想通过某个词来找到某个文章，那只能将这个词放在索引中

全文检索可以简单理解为通过索引搜索文章

这个过程类似于通过字典中的检索字表查字的过程

下面“索引”里面都是词，所以检索的时候就拿着“词”去搜索“索引”，通过索引再找到这个“词”关联的文章，这样的话比传统搜索方式效率要高

1.2 业务流程

• 第一步：创建索引

在课程发布操作执行后通过消息处理方式创建课程索引

• 第二步：搜索

当索引创建完成之后，用户可以在页面搜索对应的内容

可以在搜索界面，通过课程分类、课程难度等级等条件进行搜索

1.3 准备环境

1.3.1 搭建 elasticsearch

docker容器中安装了elasticsearch和kibana

kibana 是 ELK（Elasticsearch , Logstash, Kibana ）之一，kibana 一款开源的数据分析和可视化平台，通过可视化界面访问elasticsearch的索引库，并可以生成一个数据报表

开发中主要使用kibana通过api对elasticsearch进行索引和搜索操作

通过浏览器访问 http://192.168.101.65:5601/app/dev_tools#/console进入kibana的开发工具界面

修改虚拟机中的启动脚本restart.sh

docker stop elasticsearch
docker stop kibana

docker start elasticsearch
docker start kibana

启动脚本，访问kibana，浏览Elasticsearch索引

1.3.2 索引 概念

索引相当于MySQL中的表

Elasticsearch与MySQL之间概念的对应关系见下表

要使用elasticsearch需要建立索引

Mapping相当于表结构

Mapping创建后其字段不能删除，如果要删除需要删除整个索引

server.name: kibana

server.host:“0”

elasticsearch.hosts:[“http://192.168.101.65:9200”]

monitoring.ui.container.elasticsearch.enabled: true

1.4 课程信息索引同步

1.4.1 技术方案

通过向索引中添加课程信息最终实现了课程的搜索，我们发现课程信息是先保存在关系数据库中，而后再写入索引，这个过程是将关系数据中的数据同步到elasticsearch索引中的过程，可以简单成为索引同步。

通常项目中使用elasticsearch需要完成索引同步，索引同步的方法很多：

1、针对实时性非常高的场景需要满足数据的及时同步，可以同步调用，或使用Canal去实现。

1）同步调用即在向MySQL写数据后远程调用搜索服务的接口写入索引，此方法简单但是耦合代码太高。

2）可以使用一个中间的软件canal解决耦合性的问题，但存在学习与维护成本。

canal主要用途是基于 MySQL 数据库增量日志解析，并能提供增量数据订阅和消费，实现将MySQL的数据同步到消息队列、Elasticsearch、其它数据库等，应用场景十分丰富。

它的地址：

github地址：https://github.com/alibaba/canal

版本下载地址：https://github.com/alibaba/canal/releases

文档地址：https://github.com/alibaba/canal/wiki/Docker-QuickStart

Canal基于mysql的binlog技术实现数据同步，什么是binlog，它是一个文件，二进制格式，记录了对数据库更新的SQL语句，向数据库写数据的同时向binlog文件里记录对应的sql语句。当数据库服务器发生了故障就可以使用binlog文件对数据库进行恢复。

所以，使用canal是需要开启mysql的binlog写入功能，Canal工作原理如下：

1、canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump

协议

2、MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

3、canal 解析 binary log 对象(原始为 byte 流)

详细使用Canal进行索引同步的步骤参考：Canal实现索引同步.pdf

4、当索引同步的实时性要求不高时可用的技术比较多，比如：MQ、Logstash、任务调度等。

MQ：向mysql写数据的时候向mq写入消息，搜索服务监听MQ，收到消息后写入索引。使用MQ的优势是代码解耦，但是需要处理消息可靠性的问题有一定的技术成本，做到消息可靠性需要做到生产者投递成功、消息持久化以及消费者消费成功三个方面，另外还要做好消息幂等性问题。

Logstash： 开源实时日志分析平台 ELK包括Elasticsearch、Kibana、Logstash，Logstash负责收集、解析和转换日志信息，可以实现MySQL与Elasticsearch之间的数据同步。也可以实现解耦合并且是官方推荐，但需要增加学习与维护成本。

任务调度：向mysql写数据的时候记录修改记录，开启一个定时任务根据修改记录将数据同步到Elasticsearch。

根据本项目的需求，课程发布后信息同步的实时性要求不高，从提交审核到发布成功一般两个工作日完成。综合比较以上技术方案本项目的索引同步技术使用任务调度的方法。

如下图：

1、课程发布向消息表插入记录。

2、由任务调度程序通过消息处理SDK对消息记录进行处理。

3、向elasticsearch索引中保存课程信息。

如何向向elasticsearch索引中保存课程信息？

执行流程如下：

由内容管理服务远程调用搜索服务添加课程信息索引，搜索服务再请求elasticsearch向课程索引中添加文档。