Opensearch架构及引擎原理

开放搜索（OpenSearch）是一款结构化数据搜索托管服务。

特点：单应用亿级别文档搜索 ，毫秒级别查询延迟 ，万级别QPS

数据的导入与查询

导入：实时数据进入import子系统的数据导入模块，之后经过格式转换和数据解析进入到结构化存储系统，然后被import子系统的导出模块，经过处理后放入到实时消息系统Swift中，HA3订阅Swift中的数据，拿到数据后在内存构建索引并提供服务。

查询：通过查询聚合服务，查询HA3中的信息并返回。

HA3引擎原理

    分布式实时搜索系统

Admin是整个系统的大脑，负责节点角色分配、调度决策、FailOver处理、状态监测、动态扩容等

Amonitor是系统的性能状态监控模块，收集和展示整个系统所有节点的性能参数

QRS是查询解析和改写服务，是系统对外的搜索接口。Proxy是搜索代理模块，负责接收QRS的查询请求，并转发给下辖的所有Searcher节点

Searcher节点执行实际的查询匹配计算，将搜索结果汇总后回传给QRS

DeployExpress是分布式链式数据实时分发系统，负责将离线集群构建好的索引数据分发到各个Searcher节点.

DeployExpress的最大亮点是将1份数据分发多份拷贝到Searcher节点，其分发时间接近单份拷贝的数据分发时间，而且单节点故障能自动恢复，不影响数据拷贝

部署架构

HA3的多集群异构部署,一般用来实现冷热数据分层查询、异构数据查询等功能。OpenSearch利用异构逻辑集群优化资源配置，提升系统服务能力和降低机器成本。不同特性的应用实例被分配在不同的逻辑Cluster中