凌虚Blog

Logstash 的插件除了本文提到的这些之外还有很多，想要详细的了解每个插件如何使用还是要去查阅官方文档。得益于 Logstash 的插件体系，你只需要编写一个配置文件，声明使用哪些插件，就可以很轻松的构建数据管道。

为了行文方便，本文把 ES 对query匹配的文档进行打分得到的 score 记为，而最终搜索结果的 score 记为，显然，一般情况下（也就是不使用自定义打分时），就是。那么当我们使用了自定义打分之后呢？最终结果的 score 即跟原来一样执行query并且得到原来的。执行设置的自定义打分函数，并为每个文档得到一个新的分数，本文记为func_score。最终结果的分数等于与func_score按某种方式计算的结果（默认是相乘）。例如，搜索标题包含 elasticsearch 的文档。

很多时候我们会使用负载网关去代理转发请求给实际的后端服务，这时候请求日志还会包括以下数据：客户端 IP 地址可以衍生出以下数据： 可以解析出以下信息：请求耗时统计：根据 数据响应状态监控：根据 数据结合业务分析：请求的 地址和 参数一定是对应具体业务的，例如日志系统使用 ELK + kafka 构建是业界比较主流的方案，beats、 logstash 进行日志采集搬运，kafka 存储日志等待消费，elasticsearch 进行数据的聚合分析，grafana 和 kibana 进行图形

有时候我们需要改变默认的定界符{{ }}，那么就可以使用{{= =}}的方式自定义定界符。定界符被定义为了<% %>，这样原先{{key}}的使用方式就变成了<%key%>。就重新把定界符改回了{{ }}。更多语法详情请查阅官方文档。使用 search template 可以对搜索进行有效的解耦，即应用程序只需要关注搜索参数与返回结果，而不用关注具体使用的 DSL 查询语句，到底使用哪种 DSL 则由搜索模板进行单独管理。

ES 有两种Local_id_score缺点：由于每个分片独立使用自身的而不是全局的 Term/Document 频率进行相关度打分，当数据分布不均匀时可能会造成打分偏差，从而影响最终搜索结果的相关性。与的运行机制非常类似，但是有两点不同。Global_id_score缺点：太耗费资源，一般还是不建议使用。

本文将会介绍 Elasticsearch 向量搜索的两种方式。