2021年04月_私念

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 elasticsearch中基于slop参数实现近似匹配

参考：https://www.phpmianshi.com/?id=248slop的含义query string，搜索文本，中的几个term，要经过几次移动才能与一个document匹配，这个移动的次数，就是slop词条位置当一个字符串被分析时，分析器不仅只返回一个词条列表，它同时也返回原始字符串的每个词条的位置、或者顺序信息：例如：POST/_analyze{"analyzer":"standard","text":"区块链比特币"}结果：...

2021-04-29 20:35:13 344

原创 logstash多配置文件的使用和常见问题

参考：https://www.phpmianshi.com/?id=245背景假设现在给Logstash的pipeline配置了2个conf，也就是2个输入源。如果不做任何处理，那么所有的Filter和Output都会同时触发，如下图：这显然跟我们期望的不同，我们希望Logstash按以下的方式来处理，也就是各自区分，独立处理：解决方案官方提供有 type 和tags 配置项进行区分，type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输.

2021-04-26 20:32:14 1329

原创 elasticsearch中自定义分析器

参考：https://www.phpmianshi.com/?id=244自定义分析器虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器。一个分析器就是在一个包里面组合了三种函数的一个包装器，三种函数按照顺序被执行: 字符过滤器字符过滤器用来整理一个尚未被分词的字符串。例如，如果我们的文本是HTML格...

2021-04-25 20:30:58 195

原创 elasticsearch中分片(Shards)的理解

参考：https://www.phpmianshi.com/?id=243分片重要性ES中所有数据均衡的存储在集群中各个节点的分片中，会影响ES的性能、安全和稳定性，所以很有必要了解一下它。分片是什么？简单来讲就是咱们在ES中所有数据的文件块，也是数据的最小单元块，整个ES集群的核心就是对所有分片的分布、索引、负载、路由等达到惊人的速度实列场景：假设 IndexA 有2个分片，我们向 IndexA 中插入10条数据 (10个文档)，那么这10条数据会尽可能平均的分为5条存储在第一

2021-04-19 19:29:07 304

原创 elasticsearch中forcemerge清除文件占用的磁盘空间

参考：https://www.phpmianshi.com/?id=242背景最近发现es占用的磁盘存储大小一直在增加，本来1mb的东西，隔了1-2天达到100mb多，如下分析elasticsearch是建立在Apache Lucene基础上的实时分布式搜索引擎，Lucene为了提高搜索的实时性，采用不可再修改（immutable）方式将文档存储在一个个segment中。也就是说，一个segment在写入到存储系统之后，将不可以再修改。那么Lucene是如何从一个segment中...

2021-04-15 19:52:31 5143

原创 ELK7.5.1实战-自建logstash同步数据到腾讯云ES集群

参考：https://www.toutiao.com/i6950604658897404423/背景本来自建的单机ES提供搜索服务，随着数据的变多，性能已经成为严重的问题，现在准备迁移到腾讯云ES集群实战示例1. 购买腾讯云白金版ES集群7.5.1集群自带 es+kibana 但是不带logstash，所以还要自己安装一个2. 下载logstash7.5.1+JDKwgethttps://artifacts.elastic.co/do...

2021-04-13 19:51:01 330

原创 elasticsearch中store设置true和false的区别

参考：https://www.phpmianshi.com/?id=218概念设置索引的时候，我们给某些字段的store属性设置为true，在查询时，请求中可以携带stored_fields参数，指定某些字段，最后，这些字段会被包含在返回的结果中。如果请求中携带的字段没有被储存，将会被忽略。示例默认的场景我们先观察没有设置store属性的字段情况。我们新增一个document，并利用自动生成索引功能创建索引：PUTmy_index/_doc/1{"con...

2021-04-02 18:29:01 3354